Maschinelles Lernen
Intelligenter Algorithmus hilft Lehrkräften und Lernenden

Herr Rüdian, was ist der Unterschied zwischen Künstlicher Intelligenz, einem Neuronalen Netzwerk und einem selbstlernenden Programm?

Wir verwenden den Begriff der Künstlichen Intelligenz unter anderem für Verfahren, die aus Daten lernen und dadurch Entscheidungen treffen. Die Idee besteht darin, dass wir einem Verfahren Daten aus unserer realen Welt zeigen, zum Beispiel Bilder von Katzen und Hunden. Methodisch kann dazu etwa ein Neuronales Netz trainiert werden. Das Verfahren lernt durch die Daten, auf welchem Bild eine Katze oder ein Hund zu sehen ist. Für künftige neue Bilder kann das Neuronale Netz dann entscheiden, welches der beiden Tiere es ist. Strukturen wie Neuronale Netze können uns helfen, Vorhersagen zu treffen. Allerdings gibt es einen Nachteil: Sie zeigen uns nicht, wie sie zu dem Ergebnis kommen. Sie zeigen uns nur das Ergebnis selbst.

Sie forschen zu automatisierter Textanalyse. Worum geht es in dem gemeinsamen Projekt zwischen HU Berlin und Goethe-Institut?

Leo S. Rüdian: In zahlreichen Workshops gemeinsam mit dem Goethe-Institut haben wir eine hohe Distanz zwischen unserer Forschung und dem Einsatz in der Praxis festgestellt. Es gibt viele Technologien, an denen wir arbeiten, die trotz toller Ergebnisse bislang noch keinen Einzug in die Praxis der Online-Deutschkurse fanden. Eines der Themen ist die automatisierte Textanalyse, bei der wir von Anfang an das Ziel hatten, den Technologietransfer von der Wissenschaft zum Goethe-Institut zu ermöglichen. Im ersten Schritt haben wir uns darauf fokussiert, Tutor*innen bei der Bewertung von offenen Schreibaufgaben zu unterstützen.

Welches Problem kann eine automatisierte Textanalyse dabei lösen?

Leo S. Rüdian: Eine der Hauptaufgaben der Tutor*innen ist die Bewertung und Korrektur von offenen Schreibaufgaben. Die Tutor*innen müssen überprüfen, ob ein Text einer aktuellen Lektion angemessen ist, ob die Lernenden den vermittelten Wortschatz angewandt und gelernte Grammatiken verwendet haben. Dazu ist viel Meta-Wissen über den Kurs notwendig. Wir wollten herausfinden, ob wir Verfahren entwickeln können, welche die Bewertung von offenen Schreibaufgaben übernehmen können, um so die Tutor*innen zu unterstützen. Denn faktisch haben wir viele objektive Parameter, die auch durch Algorithmen ausgewertet werden könnten.

Welche Daten nutzen Sie, um die Technologie zu trainieren?

Portrait Leo Sylvio Rüdian | Foto: © Leo Sylvio Rüdian Leo S. Rüdian: Wir arbeiten auf zwei Ebenen: Mit den Kursinhalten und den bewerteten Nutzertexten offener Schreibaufgaben aus der Vergangenheit. Die Kursinhalte sind in ihrer Menge ganz natürlich begrenzt. Die Nutzerabgaben können beliebig in ihrer Menge sein und es werden täglich mehr. Problematisch ist, dass das Verfahren für jede offene Schreibaufgabe neu trainiert und justiert werden muss. Das ist aufwändig, da für jede Aufgabe hunderte, besser sogar tausende Bewertungen vorliegen müssten.

Laut der Studie können 70% des Tutor*innen-Feedbacks zu Freitextaufgaben durch ein selbstlernendes Programm akkurat vorhergesagt werden. Hat Sie dieses Ergebnis überrascht?

Leo S. Rüdian: Ja und nein. Wir haben uns die erhobenen Daten genau angesehen, bevor wir sie verarbeitet haben, um ein Verfahren zu entwickeln, welches die Vorhersage der Angemessenheit von Texten ermöglicht. Einige Features, die wir uns angesehen haben, sind naheliegend. Besonders gut bewertete Nutzertexte beinhalten häufiger gelernte Satzstrukturen und den Wortschatz aus der Lektion als andere. Überraschend war, dass wir den Wert von 70% nicht übertreffen konnten, auch nicht mit unterschiedlichen Techniken.

Wie verhält es sich mit den anderen 30%? Und wie schneidet das Programm hier im Vergleich zu Menschen ab?

Leo S. Rüdian: Als Wissenschaftler im Bereich des Maschinellen Lernens versuchen wir in der Regel, deutlich höhere Werte zu erzielen. Da ist 70% eigentlich ein geringer Wert. Das bedeutet im Grunde genommen, drei von zehn Entscheidungen sind abweichend. In einem Folgeexperiment haben wir überprüft, wie praxistauglich der Wert von 70% ist. Dazu haben mehrere Tutor*innen hunderte Lernendentexte bewertet – und zwar jeweils die gleichen, damit wir überprüfen konnten, wie hoch die Übereinstimmung zwischen den Tutor*innen liegt. Dort erreichen wir die gleiche Größenordnung von ca. 70%. Da die Trainingsdaten auch von Menschen erstellt sind, ist diese Abweichung dort bereits enthalten. Das entstandene Verfahren arbeitet letztendlich regelbasiert. Ist demnach ein Text fehlerhaft und nutzt nicht den neu gelernten Wortschatz, kann daraus keine gute Bewertung entstehen. Das verhindert die Logik im Hintergrund. Vermutlich könnten wir das Verfahren weiter justieren, wenn wir mehr Trainingsdaten hätten. Aktuell sind es einige hunderte. Mehr könnten helfen, bessere Ergebnisse zu liefern.

Wie kann die automatisierte Textanalyse die Arbeit der Lehrkräfte technologiebasiert erleichtern?

Leo S. Rüdian: Die automatisierte Textanalyse gibt ein objektives Feedback, basierend auf den Kursinhalten und den bereits bekannten Bewertungen aus der Vergangenheit. Das ist für Tutor*innen eine Erleichterung. Müssen diese Texte aus unterschiedlichen Kapiteln bewerten, ist es eigentlich immer notwendig zu wissen, was die Inhalte der Kurse im Detail sind. Das Verfahren kennt sie und die Bewertungen anderer Tutor*innen. Dadurch können Bewertungen einheitlicher und somit fairer werden. Das ist auch ein wichtiger Faktor für die Lernenden. Zeitgleich erkennt das Verfahren beispielsweise, welcher Wortschatz angewandt wurde und ob dieser angemessen ist. Falls nicht, können Tutor*innen diese Info direkt verwenden und die Lernenden darum bitten, den Text direkt zu überarbeiten. Das macht die Korrektur seitens der Tutor*innen deutlich effizienter.

Das lernende Programm soll auch dabei helfen, „Fake“-Texte zu erkennen. Wie muss man sich das vorstellen?

Leo S. Rüdian: Es gibt ab und an Lernende, die offene Schreibaufgaben mit automatischen Übersetzungswerkzeugen wie Google Translate oder DeepL lösen. Solche „Fake“-Texte können wir mit unseren objektiven Kriterien häufig erkennen. Dort werden nämlich oft sprachliche Konstrukte und Wörter verwendet, die gar nicht in den Kursen vorkommen. Zeitgleich enthalten die Texte kaum Fehler. Ein solcher Text kann oft nicht von einem Sprachanfänger stammen. Die Kombination der Anwendung komplexer Sprachkonstruktionen mit einem nahezu fehlerfreien Text führt in unserem Algorithmus zu einer Warnung für die Tutor*innen. Dann lohnt es sich, den Text auf der Tutor*innenseite genauer zu begutachten.

Wie sieht die Zukunft des Sprachenlernens aus?

Leo S. Rüdian: Wir wissen alle, dass Sprachenlernen nicht nur darin besteht, Vokabeln zu lernen, sondern dass eben die Anwendung der Sprache eine der Kernkompetenzen ist, die eigentlich alle Sprachenlernenden anstreben. Genau dieser wichtige Prozess wird durch Technologie bislang kaum unterstützt. Die Zukunft des Sprachenlernens erfolgt individuell, inhaltlich und methodisch angepasst an das Vorwissen und an die Vorlieben der Lernenden. Bislang ist hierzu eine Privatlehrkraft notwendig, doch die Technologien ermöglichen eine personalisierte Lernerfahrung, um künftig effizienter lernen zu können. Tutor*innen werden dabei auch in naher Zukunft nicht ersetzt. Stattdessen werden sie unterstützt.