close

Forschung - 25.02.2026 - 12:00 

Lernen in Mixed Reality

Empfehlungen helfen, komplexe Entscheidungen zu treffen. Sei es bei Investitionen, Einkäufen oder medizinischen Vorgehensweisen. Mixed Reality geht einen Schritt weiter: Sie verwandelt Empfehlungssysteme in Lernbegleiter, die nicht vorschreiben, was zu tun ist, sondern nachvollziehbar machen, warum wir eine Entscheidung treffen. Diesem Thema widmen sich Forschende der Universität St.Gallen in einer aktuellen Untersuchung.
Quelle: SCS-HSG

Wir kennen Empfehlungssysteme aus Apps und Streaming-Diensten – Songs auf Spotify, Filme auf Netflix oder Produkte auf Amazon. Doch wie helfen Empfehlungssysteme beim Lernen? Wer ein komplexes Strategie-Brettspiel zum ersten Mal spielt, kennt den Moment: Die Regeln sind klar, die Möglichkeiten zahlreich – doch welche Entscheidung jetzt sinnvoll ist, bleibt rätselhaft. Man probiert aus, macht Fehler, tastet sich vor. Lernen entsteht nicht durch das Gewinnen, sondern durch das Ausprobieren. Genau an diesem Punkt setzt eine Forschung an, die vom 23. bis 26. März 2026 an der 31st International Conference on Intelligent User Interfaces (IUI ’26) vorgestellt wird. Die Konferenz gilt als eines der wichtigsten internationalen Foren an der Schnittstelle von künstlicher Intelligenz und der Mensch-Computer Interaktion. 

Im Zentrum der Forschung steht die Frage: Wie müssen Empfehlungssysteme gestaltet sein, damit sie Menschen beim Lernen unterstützen – ohne ihnen Entscheidungen abzunehmen? 

«Tipps wie von einem erfahrenen Coach» 

Für die Studie entwickelten die Forschenden ein Mixed-Reality-System namens «GLAMRec» (Game Learning Assistance in MR through Recommendations). Während Personen ein physisches Strategie-Brettspiel spielen, blendet dieses System in Echtzeit Hinweise und Empfehlungen ein – nicht auf einem separaten Bildschirm, sondern direkt auf Karten, Spielfeldern und Objekten auf dem Tisch. Eine Kamera erfasst den Spielzustand, das System analysiert Regeln, Situation und ausgewählte Nutzerdaten und berechnet daraus situierte, personalisierte und erklärbare Hinweise für den nächsten Spielzug. «Wir wollten Empfehlungen so gestalten, dass sie sich anfühlen wie eine erfahrene Person neben einem – die Hinweise gibt, aber nicht steuert», sagt Erstautorin Sandra Dojcinovic. Die Grundlage für «GLAMRec» entstand in ihrer Masterarbeit an der Universität St.Gallen.

So funktioniert GLAMRec am Beispiel des strategischen Kartenspiels «It’s a Wonderful World»: Eine Kamera erfasst die Karten auf dem Spielfeld, ein KI-System erstellt daraus Empfehlungen – entweder generisch oder personalisiert.

Die Hinweise erscheinen direkt über dem Spiel, farbige Marker zeigen, welche Karten als nächstes genutzt werden könnten. Das System erkennt in Echtzeit, welche Karten in den verschiedenen Zonen liegen. So behält GLAMRec den Spielstand jederzeit im Blick.

Drei Empfehlungen erscheinen über dem Spielbrett und passen sich jede Runde an. Sie zeigen den Spielenden, welche Karten sie bauen, vorbereiten oder abwerfen könnten.

Farbige Marker zeigen, welche Aktionen empfohlen werden: hellblau = Karte sofort nutzen, blau = Karte für die nächste Runde vorbereiten, orange = Karte weglegen oder später wiederverwenden. Die Marker erscheinen nur auf den Karten, auf die man schaut.

Studiensetup – eine Teilnehmerin spielt mit einem Mixed-Reality-Headset. Eine Kamera erfasst den Spielstand, die Kartendecks liegen griffbereit daneben.

Verstehen statt besser spielen 

Mit 32 Teilnehmenden verglich das Forschungsteam generische mit personalisierten Empfehlungen. Diese griffen etwa auf bekannte Spiele, berufliche Hintergründe oder Interessen der Spielenden zurück, um Strategien verständlicher zu erklären. 

Die Resultate zeichnen ein klares Bild: 

  • Personalisierte Empfehlungen werden als deutlich verständlicher wahrgenommen; 
  • sie steigern das Nutzungserlebnis spürbar; 
  • sie erhöhen jedoch nicht automatisch das Vertrauen in das System; 
  • und sie führen auch nicht zu besseren Spielergebnissen. 

«Unsere Ergebnisse zeigen, dass Personalisierung in diesem Fall das Lernergebnis nicht automatisch und unmittelbar stärkt», erklärt Jannis Strecker-Bischoff. «Aber sie unterstützt die Teilnehmenden darin, die Logik und das ‘warum’ hinter Entscheidungen besser nachzuvollziehen – und sie nutzen ein personalisiertes Lernsystem deutlich lieber.»  

Unterstützen statt steuern 

Ein zentrales Gestaltungsprinzip von «GLAMRec» war Zurückhaltung. Hinweise erscheinen nur dann, wenn sie im Moment relevant sind – und stets zusammen mit einer Begründung. Die Entscheidung bleibt bei den Spielenden. 

Ergänzend führten die Forschenden Interviews mit sechs erfahrenen Brettspielentwicklerinnen und -entwicklern. Deren Einschätzung deckt sich mit den Studienergebnissen: Gute Erklärungen seien wertvoller als konkrete Handlungsanweisungen. Lernen entstehe dort, wo Menschen selbst Zusammenhänge erkennen. «Empfehlungssysteme sollten sich eher wie Lernbegleiter verhalten als wie Autopiloten», sagt Kenan Bektaş. 

Lernen findet im Raum statt 

Mixed Reality ermöglicht es, personalisierte Hinweise genau dort einzublenden, wo Entscheidungen tatsächlich fallen. Die Erkenntnisse reichen weit über Brettspiele hinaus. Denkbar sind Anwendungen in Ausbildung, Medizin oder technischer Wartung – überall, wo Menschen komplexe Abläufe verstehen und Entscheidungen treffen müssen. «Mit Empfehlungen gestalten Menschen Situationen neu, daher sollten sie so gut anwendbar wie möglich sein», sagt Simon Mayer. 

Die Untersuchung knüpft an frühere Arbeiten der Forschenden zu personalisierten Realitäten an, darunter Sprachassistenten, Smartwatches oder Augmented-Reality-Brillen (AR). Solche Technologien passen sich automatisch an individuelle Vorlieben an oder verändern unsere Wahrnehmung der physischen Welt. Personalisierte Technik ist daher nicht neutral. Ähnlich wie bei Filterblasen in sozialen Netzwerken können Wahrnehmungsblasen entstehen, die Menschen voneinander trennen. Entwickler, Designer und politische Entscheidungsträger werden deshalb aufgefordert, Technologie nicht nur funktional, sondern auch gesellschaftlich verantwortlich zu denken. 

GLAMRec ist ein konkretes, experimentelles Beispiel, das zeigt, wie man nützliche Personalisierung verantwortungsvoll umsetzt, ohne Kontrolle zu entziehen oder Nutzer zu isolieren. 


Das Paper «Personalized Recommendations in Mixed Reality Enhance Explanation Satisfaction and Hedonic User Experience in Board Game Learning» wird an der IUI ’26 präsentiert und steht online zum Download zur Verfügung. 

 

Bilder: Institute of Computer Science (ICS-HSG)

north