close

Forschung - 11.04.2023 - 16:00 

KI und Sprache: GPT-3 zeigt menschenähnliche Sprachmuster

Das Sprachmodell GPT-3 nutzt menschenähnliche psychologische Mechanismen bei der Erzeugung von Sprache. Die semantische Aktivierung, die im menschlichen Gehirn abläuft, wird von GPT-3 reproduziert. Das zeigen Jan Digutsch (Universität St.Gallen) und Michal Kosinski (Stanford University) in einem Text, der auf der Website des höchst renommierten Wissenschaftsmagazins NATURE frei zugänglich ist.
Creative digital brain backdrop. Technology, ai and computing concept. 3D Rendering

Künstliche Intelligenz (KI), die sich sprachlich äussert, lässt aufhorchen. Was geschieht also, wenn KI nach den richtigen Worten sucht? Ein Schlüssel zur Antwort auf diese Frage liegt in der sogenannten semantischen Aktivierung. Untersuchungen an GPT-3 geben Aufschluss. GPT-3 stellt die Grundarchitektur für ChatGPT dar, jene auf Gespräche angelegte KI, die seit November 2022 weltweit in aller Munde ist.

Semantische Aktivierung 

Semantische Aktivierung erfolgt, wenn das Gehirn beim Hören oder Lesen von Wörtern automatisch an verwandte Begriffe denkt. Auf die Frage «Was trinken Kühe?» antworten Menschen zum Beispiel eher mit «Milch» als mit «Wasser» (nur Kälber trinken Milch), was zeigt, dass «Kuh» und «trinken» das Wort «Milch» im semantischen Gedächtnis aktivieren. GPT-3 nun zeigt ähnliche semantische Aktivierungsmuster wie Menschen, allerdings mit einer signifikant höheren Aktivierung bei verwandten Wortpaaren (z.B. «Limette–Zitrone») als bei nicht verwandten Paaren (z.B. «Tourist-Zitrone»). 

Obwohl GPT-3 menschenähnliche Sprachmuster zeigt, wird die semantische Aktivierung bei GPT-3 stärker durch die Ähnlichkeit der Wortbedeutung («Limette–Zitrone», «Tag–Nacht») bestimmt als durch die Verbindung von Worten (Wortpaaren), die häufig zusammen verwendet werden (z.B. «weg–gehen» oder «unter–suchen»). Dabei zeichnet sich ab: Je fortschrittlicher die Sprachmodelle werden, desto ausgeprägter werden die Unterschiede zum Menschen. Daher ist anzunehmen, dass die skizzierten Ergebnismuster bei GPT-4, der noch nicht öffentlich erhältlichen Folgeversion von GPT-3, noch stärker ausfallen werden.  

Weiterer Nutzen 

Die Befunde zeigen auf der einen Seite, wie das Studium von Sprachmodellen wie GPT-3 dazu beitragen könnte, unser Verständnis von menschlicher Sprache zu verbessern. Denn Sprachmodelle werden darauf trainiert, menschliches Verhalten (hier: Sprache) zu imitieren. Sie könnten also auch als Modellteilnehmer in psycholinguistischen Studien eingesetzt werden. Solche Studien helfen, besser zu verstehen, wie Sprache im menschlichen Gehirn verarbeitet und repräsentiert wird.

Hilfreich für Untersuchungen ist auch, dass Sprachmodelle, anders als Menschen, nicht unter Ermüdung und Motivationsmangel leiden. Sie können tausende von Aufgaben pro Minute ausführen. Die Erforschung von Sprachmodellen könnte das Verständnis der Mechanismen und Prozesse im menschlichen Gehirn aber auch fördern, weil künstliche neuronale Strukturen leichter zu untersuchen sind als biologische. 

Abweichungen 

Auf der anderen Seite gilt es jedoch zu beachten, dass Verhaltensweisen von Sprachmodellen zuweilen signifikant von denen bei Menschen abweichen – trotz erster oberflächlicher Ähnlichkeit. Daher ist es schwierig, Sprachmodelle wie GPT-3 zu nutzen, um menschliches Verhalten oder geistige Repräsentation zu untersuchen, da die zugrundeliegenden KI-Mechanismen teilweise von den menschlichen abweichen. Die Unterschiede in künstlicher und menschlicher Sprachproduktion können jedoch wertvolle Hinweise für die Weiterentwicklung jener Sprachmodelle bieten, um die Sprachgenerierung noch näher an die menschliche zu bringen. Was die Untersuchung von KI und Sprache so faszinierend macht, ist der Gedanke an konvergente Evolution  dem Phänomen, dass nicht verwandte Arten wie beispielsweise Vögel und Fledermäuse unabhängig voneinander ein gleiches Merkmal (hier: Flügel) entwickelt haben, um ähnliche Herausforderungen in ihrer Umwelt zu bewältigen. Womöglich erleben wir aktuell eine ähnliche Entwicklung zwischen Menschen und KI.

Der Aufsatz «Overlap in meaning is a stronger predictor of semantic activation in GPT-3 than in humans» auf der Webseite des Wissenschaftsjournals NATURE steht zum Download zur Verfügung. Weitere Informationen zum Institute of Behavioral Science and Technology (IBT-HSG): ibt.unisg.ch

Bild: Adobe Stock / peshkova

Entdecken Sie unsere Themenschwerpunkte

north