Kann eine KI zuverlässig erkennen, ob ein Studierender frustriert, motiviert oder gleichgültig ist? Diese Frage stand im Mittelpunkt unserer empirischen Studie, die wir im Juli 2025 auf der EDULEARN-Konferenz in Palma de Mallorca vorgestellt haben.
Sentiment-Analyse als Kernkomponente von SMARTA
Im SMARTA-Projekt entwickeln wir KI-gestützte Chatbots, die Studierende bei Motivation, Lernorganisation und persönlichen Herausforderungen begleiten. Damit die Chatbots einfühlsam reagieren können — auf Prokrastination, sozialen Druck oder Frustration — müssen sie den emotionalen Ton der Konversation präzise erfassen. Dafür setzen wir automatisierte Sentiment-Analyse ein.
Was die Studie untersucht hat
In einem Vergleichstest haben wir Sentiment-Klassifikationen von Sprachexperten, Studierenden und verschiedenen GPT-Modellen (GPT-3.5 und neuere Versionen) gegenübergestellt: wie gut erkennen die Modelle positive, negative und neutrale Aussagen? Qualitätsmetriken: Accuracy, Precision, Recall und Konfusionsmatrizen.
Das Ergebnis: GPT ist zuverlässiger als erwartet
Selbst ältere Modelle wie GPT-3.5 erkennen Sentiment mit hoher Zuverlässigkeit. Mit optimierten Prompts und neueren Modellen steigt die Übereinstimmung mit menschlichen Bewertungen weiter. Abweichungen treten vor allem bei neutralen Aussagen auf — einem Bereich, in dem auch menschliche Beurteilungen häufig divergieren. Daraus leiten wir ein neues Konzept ab: den Human-AI-Gap-Benchmark. KI-Performance sollte nicht an einer Fehlerquote von null gemessen werden, sondern im Verhältnis zur menschlichen Fehlerquote.
Rechtliche Einordnung: EU AI Act
Sentiment-Analyse ist trotz ihrer Zuverlässigkeit ein Black-Box-Prozess mit eingeschränkter Erklärbarkeit. Wir haben die Methode auf Konformität mit dem EU AI Act geprüft — ob sie unter Medical AI oder verbotene Emotionserkennung fällt. Unsere Lösung: Sentiment-Ergebnisse werden anonym gespeichert, der Chat-Verlauf wird unmittelbar nach dem Gespräch gelöscht.
Fazit
KI-gestützte Sentiment-Analyse ist praxistauglich und präzise genug für den Einsatz im Hochschulkontext. Im SMARTA-Projekt wird sie als vertrauenswürdiges Modul eingesetzt — ein weiterer Schritt zu einer KI, die nicht nur antwortet, sondern wirklich versteht.