Wenn Maschinen uns im Stich lassen

Der Fall der schwarzen Studentin Robin Pocornie zeigt sehr anschaulich, wie Künstliche Intelligenz rassistisch sein kann. Pocornie wollte während der Coronazeit eine Online-Prüfung an der VU Universität Amsterdam absolvieren. Die Universität nutzte damals eine Software, welche Zugriff auf die Webcam der Studierenden hatte, und so während den Prüfungen automatisiert Betrugsversuche aufdecken sollte. Doch weil die Software vor allem mit weissen Menschen trainiert wurde, erkannte sie die schwarze Studentin Pocornie nicht. «No Face found» erschien lediglich auf ihrem Bildschirm. Nur durch eine Lampe, die sich die Studentin während der ganzen Prüfung direkt ins Gesicht scheinen lassen musste, konnte sie die KI-Überwachung schliesslich zufriedenstellen. Dies ist nur eines von vielen Beispielen, die an der Konferenz «Machines That Fail Us» im SQUARE der HSG diskutiert wurden, um die Gefahren und Ungerechtigkeiten aufzuzeigen, die von KI-Anwendungen ausgehen können. «Unsere Technologien sind so ausgestaltet, dass sie durchaus auch falsch liegen können. Wir können uns nicht auf sie verlassen. Eine der spannenden Fragen ist, wie Tech-Entwickler und Tech-Unternehmen mit der Fehlbarkeit von KI und Algorithmen umgehen. Und was der Einsatz von KI mit unserer eigenen menschlichen Einschätzung macht», sagte Prof. Dr. Veronica Barrassi, welche die Konferenz zusammen mit ihrem Team vom Institut für Medien- und Kommunikationsmanagement der HSG (MCM-HSG) organisiert hatte. Barassi und ihr Team starteten 2020 auch «The Human Error Project», ein Forschungsprojekt, das sich ebendiesen Fragen widmete. Verschiedene Teammitglieder stellten während der Konferenz einige Veröffentlichungen aus dem Projekt vor, die sich mit dem Kampf der Zivilgesellschaft gegen algorithmische Ungerechtigkeit in Europa und der Kartierung des Mediendiskurses über KI-Fehler und menschliches Profiling befassten. Einige der behandelten Themen betrafen auch das Ungleichgewicht zwischen Technologieunternehmen und zivilgesellschaftlichen Akteuren sowie die Tatsache, dass KI oft bestehende Ungleichheiten perpetuiert.

«Menschen sind nicht standardisierbar»

Die Keynote-Rede an der Konferenz, die vom Schweizerischen Nationalfonds im Rahmen seines Agoraprojektes finanziert wurde, hielt Stefania Milan, Professorin für Kritische Datenstudien an der Universität Amsterdam. Anhand anschaulicher Beispiele äusserte sie Bedenken bezüglich des zunehmenden Einsatzes von Überwachungssoftware: «Ich betrachte diese Software als regulierende Dateninfrastruktur. Sie übernimmt Funktionen, die einst von Menschen innerhalb des Staatsapparates ausgeübt wurden. Mit der Pandemie sahen wir eine Beschleunigung der Nutzung solcher Infrastrukturen, oft in einem undemokratischen und intransparenten Kontext.» Weitere besorgniserregende Dinge, die sie erwähnte, waren die immer noch hinterherhinkende Regulierungen von KI, die Erfüllung von Regierungsaufgaben durch gewinnorientierte Auftragnehmer, die Schwierigkeit für die Menschen, sich KI-Anwendungen zu verweigern, und der steigende Energieverbrauch: «Manche Prognosen gehen davon aus, dass im Jahr 2027 ein Fünftel des globalen Energieverbrauchs auf Rechenzentren zurückgeht.» Darüber hinaus zeige der sogenannte «Tech-Solutionismus», oft eine Tendenz, die Komplexität der Gesellschaft zu ignorieren, indem dessen Lösungen für einen standardisierten Durchschnittsmenschen entworfen werden: «Den standardisierten Menschen als Stellvertreter für die Bevölkerung zu nehmen, ist ein Problem, weil Menschen nicht standardisiert sind.» Als Beispiel, nannte Stefania Milan etwa die ersten Versionen der Kontaktverfolgungs-App in Deutschland während der Pandemie. Sie waren nur mit den neuesten Smartphone-Modellen kompatibel und schlossen daher grosse Teile der Bevölkerung aus, die noch andere Modelle benutzten. Um all diesen Herausforderungen im Zusammenhang mit KI zu begegnen, schlug Stefania Milan drei Handlungsfelder vor: ein robustes regulatorisches Rahmenwerk, ethische Richtlinien für die Entwicklung und Nutzung von Technologien sowie die Schaffung eines öffentlichen Bewusstseins für deren Schwachstellen.

Den Widerstand vereinen

Über Wege aus der beschriebenen Technologie-Falle wurde auch auf dem anschliessenden Podium unter Moderation von Dr. Philip Di Salvo diskutiert. Die Unternehmerin Lorna Goulden sieht das Problem durch weitere Technologie gelöst, etwa in Form von digitalen Tools, die einerseits den Menschen wieder mehr Kontrolle über ihre eigenen Daten ermöglichen sollen oder den Entwickler:innen von KI-Anwendungen helfen, verantwortliche Lösungen im Sinne von Grundsätzen wie Transparenz und Privatsphärenschutz umzusetzen. Journalist Luca Zorloni vom Digitalmagazin «Wired» setzt ebenfalls auf Regulierung und fordert so etwas wie eine gesetzliche Veröffentlichungspflicht für Algorithmen, welche einen grossen Einfluss auf die öffentliche Sphäre haben. Ilia Siatitsa von Privacy International appelierte an die Verantwortung der Entwickler:innen, ihre Lösungen aus dem Blickwinkel der am meisten vulnerablen, von der KI-Anwendung betroffenen Personengruppen zu entwickeln und erst dann für die breite Masse zu erweitern. Alle drei waren sich darin einig, dass der Widerstand gegen die Fehlentwicklungen der KI aktuell sehr fragmentiert ist. «Es ist nötig, dass alle Gruppen, die sich mit dem Thema beschäftigen zusammenkommen, um den grossen Tech-Organisationen mehr entgegensetzen zu können», sagte Lorna Goulden.