Erklärbare KI: Einblick in die Black Boxes des Machine Learning

27. Mai 2019. Künstliche Intelligenz (KI) hat einen bislang unerreichten Grad an Automatisierung in unserer Gesellschaft ermöglicht. Heute führen Computer vertrauensvolle Aufgaben aus, die früher Menschen vorbehalten waren, wie das Übersetzen eines Textes oder Objekterkennung in einem Foto. KI spielt auch eine entscheidende Rolle bei der über die menschlichen Fähigkeiten hinausgehenden Identifikation von Mustern in sehr grossen Datensätzen, bspw. bei Betrugserkennungs- und Empfehlungssystemen.
 

Allerdings geht diese hohe Leistung in nicht unerheblichem Masse auf Kosten der Transparenz. Auf KI beruhende komplexe statistische Modelle und neuronale Netze entstehen aus einer Vielzahl komplizierter Rechenvorgänge, wobei es schwierig ist, die Wirkung bestimmter Input-Daten auf das trainierte Modell zu bestimmen. Aus diesem Grund wird KI häufig als «Black Box»-Technologie bezeichnet.
 

Regeln zur Vermeidung von Voreingenommenheit und ungerechter Behandlung

Angetrieben von der Sorge um die Auswirkungen dieser nicht einsehbaren Modelle hat das Europäische Parlament rechtliche Vorgaben zur Vermeidung von Voreingenommenheit und ungerechter Behandlung festgelegt. Denn diese Sorge ist nicht ganz unbegründet. Zahlreiche Studien belegen, dass KI-Modelle Muster aus von Menschen erstellten Datensätzen erlernen und dabei in der Gesellschaft vorhandene Vorurteile mit übernehmen. Ein einfaches Beispiel: Die De-facto-Methode der Darstellung von Wörtern als Vektoren (sogenannte Worteinbettungen) erstellt eine höhere Assoziation zwischen den Wörtern «Mann» und «Erfolg» als zwischen «Frau» und «Erfolg». Eine andere Untersuchung hat zudem gezeigt, dass häufig von einer Minderheitengruppe verwendete Namen, wie zum Beispiel «Ebony» für Afroamerikaner, einen negativen Einfluss in der KI-basierten Sentimentanalyse haben, verglichen mit einem mit Euroamerikanern assoziierten Namen wie «Amanda». Andere Vorurteile finden sich auch in Kreditratingsystemen, wenn diese das Kreditrisiko beurteilen.

Erklären von Machine-Learning-Modellen

Vor dem Hintergrund dieser Problematik hat sich in den letzten Jahren im KI-Sektor der Forschungsbereich etabliert, der sich der Erklärung von Machine-Learning-Modellen widmet. Dahinter steht die Idee, aussagekräftige Informationen über die Algorithmen zu liefern, sodass auch Menschen ohne technischen Hintergrund die Funktionsweise verstehen und potenziell Ungerechtigkeit und Voreingenommenheit erkennen können. Der Bereich der erklärbaren KI geht sogar noch weiter.
 

Zachary C. Lipton hat eine umfassende Taxonomie für Erklärungen im Kontext der KI definiert, die verschiedene Klassifizierungskriterien hervorhebt, wie Motivation (Vertrauen, Kausalität, Übertragbarkeit, Aussagefähigkeit sowie Fairness & Ethik) und Eigenschaft (Transparenz und Post-hoc-Interpretierbarkeit).
 

Vertrauen ist bei Weitem die in der Literatur am meisten abgehandelte Motivation. Or Biran und Courtenay Cotton weisen beispielsweise nach, dass Benutzer mehr Vertrauen bei der Verwendung eines Systems zeigen, wenn sie verstehen, wie dieses funktioniert. Fairness & Ethik ist ebenfalls ein wichtiger Faktor, da die EU-Datenschutz-Grundverordnung (DSGVO) mit ihren Garantien für «aussagekräftige Informationen über die eingesetzte Logik» sowie für «Nicht-Diskriminierung», um Voreingenommenheit und unfaires Verhalten zu verhindern, hauptsächlich auf zur Entscheidungsfindung eingesetzte Algorithmen abzielt. Wenngleich weniger repräsentativ, werden Erklärungen auch eingesetzt, um das Feedback von Benutzern an intelligente Systeme zu unterstützen.
 

Ausgehend vom Eigenschaftskriterum (s.o.) ermöglicht Transparenz, den Entscheidungsmechanismus des Algorithmus zu verstehen, indem man das «gesamte Modell auf einmal» betrachtet und jedes seiner Teile sowie seinen Lernmechanismus versteht. Typische Methoden zur Erfüllung dieser Anforderungen sind so genannte «Explainable by Design»-Konzepte wie lineare Regression, Entscheidungsbäume sowie regelbasierte Ansätze für die Handhabung kleiner Modelle.
 

Post-hoc-Erklärungen verwenden dagegen Interpretationen, um aussagekräftige Informationen über das KI-Modell zu liefern. Statt zu zeigen, wie das Modell funktioniert, liefern sie Belege für dessen «Denkweise» mithilfe von (i) textuellen Beschreibungen, (ii) Visualisierungen, die Teile eines Bilds hervorheben, auf denen die Entscheidung beruht, (iii) 2D-Darstellungen hochdimensionaler Räume oder (iv) Erklärungen anhand von Ähnlichkeiten. Obwohl diese Art von Erklärung nicht exakt angibt, wie der Output generiert wurde, liefert sie trotzdem nützliche Informationen über die interne Funktionsweise des Modells.

Post-hoc-Erklärungen von KI-Modellen

Eine der von unserem Forschungsteam entwickelten Arbeiten bietet ein Beispiel einer Post-hoc-Erklärung für die Aufgabe einer logischen Folgerung aus einem Text, wobei das System ausgehend von einer gegebenen Tatsache bewertet, ob eine zweite Aussage (die Hypothese) wahr oder falsch ist. 
 

Wenn beispielsweise die Tatsache «IBM hat im ersten Quartal 18,2 Milliarden US-Dollar erzielt» lautet und die Hypothese «Die Einnahmen von IBM betrugen im ersten Quartal 18,2 Milliarden US-Dollar»: Ja, dann ist dies eine Folgerung. Der Algorithmus liefert jedoch nicht nur eine Ja/Nein-Antwort, sondern auch eine Erklärung: denn «Erzielen bedeutet als Erlös verbuchen» und «Erlös ist ein Synonym von Einnahmen».
 

Die Verbesserung der textbasierten Folgerung wirkt sich auf die Leistung vieler Aufgaben der Verarbeitung natürlicher Sprache aus, wie Fragenbeantwortung, Textzusammenfassung und Informationsextraktion. Während diese Aufgabe für einen Menschen trivial erscheint, bildet sie doch den Kern der Herausforderung, vor denen moderne Modelle künstlicher Intelligenz stehen: das Verstehen von Bedeutung.

Siegfried Handschuh ist ordentlicher Professor für Data Science an der Universität St.Gallen.