TrollWall AI | Werkzeuge gegen Hass im Netz
„Demokratie ist anstrengend“

Von Hassreden im Internet ist es kein weiter Weg bis zu gewalttätigen Handlungen in der physischen Welt. Diskussionen so zu moderieren, dass solche Kommentare gezielt gelöscht werden, hilft auch dabei, die Polarisierung der Gesellschaft, die unsere Demokratie bedroht, zu mindern. Tomáš Halász erklärt im Interview unter anderem, wie Hass und Hetze im Netz zu einer gewissen Ermüdung bei der Verteidigung der Demokratie führen. Er ist Mitbegründer des Start-ups TrollWall AI, das mithilfe künstlicher Intelligenz (Englisch: Artificial intelligence, AI) im Onlineraum geführte Diskussionen moderiert.

Von Magdaléna Rojo

Tomáš Halász ist ein ehemaliger Fotograf, der durch seine Arbeit für verschiedene Presseagenturen und NGOs bekannt ist. Vom Fotografieren ist er später abgekommen, hat sich der Politik zugewandt und dann dem Managen von sozialen Netzwerken gewidmet. Als Social Media Manager für den Vizepräsidenten des Europäischen Parlamentes war er auf der Suche nach einem Tool, das ihm helfen sollte, automatisiert Hasskommentare zu löschen. Er fand keines und entschloss sich dann, gemeinsam mit drei Kollegen selbst ein solches Tool zu entwickeln.

Was verbirgt sich hinter eurer TrollWall AI?

Es ist eine Webapp, die mithilfe künstlicher Intelligenz hasserfüllte und vulgäre Kommentare auf den Social Media Seiten unserer Kunden erkennt und verbirgt. Aktuell wird sie in sieben Ländern von Unternehmen, Präsidenten, Institutionen und Agenturen, Sportklubs und NGOs genutzt – zum Beispiel vom tschechischen Präsidenten Petr Pavel, Greenpeace, Amnesty International, der Telekom, O2 oder im Rahmen der Eishockey-Weltmeisterschaft.

In welchen Ländern wird die TrollWall AI genutzt und warum gerade in diesen?

Wir sind mit der App in der Slowakei, Tschechien, Polen, Rumänien, Deutschland, Spanien und Argentinien präsent. Angefangen haben wir in der Slowakei, sind dann, was naheliegend ist, nach Tschechien gegangen und haben uns später nach dem Interesse von Kunden gerichtet.

Das ist ein vielgestaltiger Prozess. Unser Ausgangspunkt ist Mitteleuropa, weil wir hier zu Hause sind und uns auskennen. Unsere Besonderheit ist, dass wir unsere KI so trainieren, dass sie lokale Kontexte und Schimpfworte versteht. Damit unterscheiden wir uns von generischen KIs. Wir haben zum Beispiel drei Versionen des Spanischen, weil das mexikanische und das argentinische Spanisch ganz anders sind als das Spanisch, das in Europa gesprochen wird.

Wie trainiert ihr die KI und wie funktioniert eure Software?

Unsere Kundinnen und Kunden können sich auf unserer Webseite ein Konto anlegen, mit dem sie dann ihre Seiten bei Facebook, Instagram, Tiktok oder Youtube verbinden können. Alle Kommentare, die sie erhalten, werden durch unsere KI, je nachdem, wie sie trainiert ist, danach bewertet, ob der Kommentar toxisch ist oder eben nicht. Ist er es, dann wird er automatisch ausgeblendet. Alle Entscheidungen der KI sind im Webinterface sichtbar und können durch die Nutzer geändert werden.

Die KI haben wir trainiert, indem wir uns für jede einzelne Sprache eine große Menge an Kommentaren angesehen haben, die Leute auf Social Media gepostet haben. Dann haben wir die Kommentare jeweils an drei voneinander unabhängige Personen aus der jeweiligen Region geschickt, linguistisch geschulte Expertinnen und Experten wie Übersetzer und Dolmetschern, und darum gebeten, die Kommentare zu bewerten und gegebenenfalls zu erläutern. Diese Personen haben die Kommentare markiert, je nachdem, ob diese gemäß unseren Richtlinien als toxisch, vulgär oder Hassrede einzustufen waren. Und erst wenn alle drei die gleiche Bewertung für den jeweiligen Kommentar abgegeben haben, wurde dieser in die KI eingepflegt, die dann daran lernen konnte. Wir binden immer mindestens drei aus der Region stammende Personen in die Bewertung ein, damit wir mögliche Vorurteile Einzelner ausschließen.

Wie definiert ihr Hasskommentare, die eure KI herausfiltern soll?

Wir orientieren uns dabei an der internationalen Definition von Hate Speech. Das heißt alles, was als Angriff auf eine Person oder Gruppe von Personen aufgrund ihrer Identität, Nationalität, politischen Überzeugung, Religion, Herkunft, sexueller Orientierung und so weiter gewertet werden kann. Außerdem auch Beleidigungen und Gewaltverherrlichendes sowie toxische Sprache, also Schimpfwörter und Vulgarismen.

Gibt es Unterschiede in den Hasskommentaren je nach Land, in dem eure KI arbeitet, oder auch von Kunde zu Kunde?

Die Unterschiede zwischen den Ländern sind nicht sehr groß, auch nicht prozentual betrachtet. Vielleicht nur so viel, dass in der Slowakei und in Tschechien anti-migrantische oder anti-muslimische Hasskommentare nicht so alltäglich sind, weil das hier nicht so ein großes Thema ist. In Deutschland ist so etwas wesentlich häufiger zu beobachten.

Aber zwischen verschiedenen Typen von Kunden gibt es schon Unterschiede. Zum Beispiel hat man es bei Sportklubs eher mit Vulgarismen zu tun, weniger mit Hasskommentaren bezüglich sexualisierter Gewalt. Und es gibt dort oft rassistische Kommentare. Politikerinnen dagegen haben auf ihren Seiten häufiger mit sexuell konnotierten Hasskommentare zu kämpfen, der Androhung von Vergewaltigung und speziell Schimpfwörtern, die Frauen aufgrund ihres Geschlechts verunglimpfen.

 

Ihr habt die TrollWall AI entwickelt, weil du während deiner Arbeit als Social Media Manager kein geeignetes Tool gefunden hast, das helfen konnte, auf Slowakisch verfasste Hasskommentare zu löschen, die nach der großangelegten russischen Invasion in die Ukraine stark zugenommen haben. Es war also ein praktischer Lösungsansatz, der dir deine Arbeit erleichtern sollte. Warum hältst du es für so wichtig, dass solche Hassreden nicht im Internet herumgeistern?

Ein Grund ist die Gesellschaft selbst. Studien besagen, dass die Normalisierung hasserfüllter Sprache sich letztendlich auch auf die Gesellschaft auswirkt. Zum einen schlägt sich das in einer Polarisierung der Gesellschaft nieder und zum anderen darin, dass digitale Gewalt auch physisch ausgerückt wird. Es ist allgemein bekannt, dass die sozialen Netzwerke selbst nicht ausreichend moderieren und insbesondere nicht in unseren Sprachen, die kaum unterstützt werden. Ein weiterer Grund ist das Business. Es gibt Studien, die zeigen, dass Unternehmen, Marken oder Institutionen, die auf den sozialen Netzwerken kommunizieren und hasserfüllte oder toxische Kommentare unter ihren Beiträgen zulassen, weniger Interesse bei ihren Followern hervorrufen. Und das hat sowohl negative Auswirkungen auf die Klickzahlen der Werbung als auch auf die Reputation der Marke. Eine unmoderierte Diskussion wird schnell von einer kleinen, aber lauten Gruppe von Hatern dominiert, die Zeit haben und andere Menschen rausdrängen, vor allem Minderheiten, Frauen und andere vulnerable Gruppen, die sich nicht trauen, sich in nicht moderierte Diskussionen einzuschalten, weil sie wissen, dass sie dann attackiert werden.

Du sagst, dass es für Unternehmen von Vorteil ist, keine Hasskommentare auf ihren Social Media Präsenzen zu haben. Gilt das auch für die Politik? Denn es ist ja wohl so, dass heutzutage Hasskommentare auch als eine Art Strategie benutzt werden.

Es kommt auf das Ziel des jeweiligen Politikers oder der Politikerin an. Ja, es gibt solche, die so etwas ausnutzen, aber für die große Mehrheit ist es besser, wenn die Diskussion nicht toxisch ist. Wenn ich als Nutzer gleich als Erstes toxische Sprache sehe, dann entsteht unterbewusst eine negative emotionale Konnotation mit dem jeweiligen Profil. Und dann möchte ich das weniger oft sehen. Aus unserer Erfahrung und unseren Statistiken geht hervor, dass als die politischen Parteien angefangen haben, ihre Diskussionen zu moderieren und automatisch einen bedeutenden Teil toxischer und vulgärer Kommentare zu verbergen, nicht die Zahl der kommentierenden Personen ab-, sondern die Qualität der Diskussion zugenommen hat, weil sich auch Menschen eingebracht haben, die sich normalerweise nicht zu Wort gemeldet hätten.

Für einen Präsidenten oder eine staatliche Institution geht es natürlich auch um die Reputation. Es ist nicht in Ordnung für die Kommunikation eines Staatsoberhauptes, wenn unter den eigenen Posts jemand schreibt, dass man die Ukrainer erschießen sollte. Die Menschen glauben dann unterbewusst, dass die Personen, die den Post veröffentlicht hat, wahrscheinlich auch dieser Meinung ist, wenn er oder sie den Kommentar nicht löscht.

Habt ihr konkrete Erfahrungen, dass eure TrollWall AI von einem Kandidaten oder einer Kandidatin genutzt wurde und der Fakt, dass dadurch unter den jeweiligen Beiträgen weniger Hasskommentare zu finden waren, ihm oder ihr zum Sieg verholfen hat?

Bestimmt hat das geholfen. Wir können nicht sagen, dass der Sieg nur uns zu verdanken war, aber die TrollWall AI wurde schon in mehreren Wahlen genutzt – in Kommunal- und Parlamentswahlen, aber auch Europa- oder Präsidentschaftswahlen. In mehreren Ländern. Und die Kunden blieben uns auch nach den Wahlen treu.

Jemand könnte argumentieren, dass solch ein Löschen von Kommentaren Zensur sei. Was würdest du so jemandem antworten?

Ich würde ein Beispiel nennen für den Unterschied zwischen Zensur und Moderation, wie sie unsere KI macht. Sagen wir, ich habe ein eigenes Café und es kommt jemand rein und fängt an, mich oder meine Gäste zu beleidigen. Dann habe ich das Recht, die Person rauszuwerfen. Das ist Moderation. Weil die Person bei mir im Café ist und dort meine Regeln gelten. Von mir aus kann er oder sie auf dem Platz davor demonstrieren gehen, dass ich das schlechteste Café weit und breit habe. Dort werde ich nicht einschreiten, aber in meinem Café erlaube ich nicht, dass mich jemand anschreit oder meine Gäste beschimpft. Zensur ist, wenn die Person dafür, dass sie behauptet, ich hätte das schlechtestes Café weit und breit, und für die Beleidigungen gegen mich im Gefängnis landen würde, so wie das mit den Leuten in Russland passiert, wenn sie in den sozialen Medien schreiben, dass sie Putin nicht wählen werden.
 

An das Beispiel, wie das in der offline Welt funktionieren würde, möchte ich anknüpfen. Inwieweit siehst du es als Problem, dass die Leute sich nicht immer bewusst machen, dass das, was sie im digitalen Raum online rauslassen, sich auch auf die ein oder andere Weise in die Offline-Welt überträgt?

Zu dieser Übertragung kommt es, wenn diese hasserfüllte Sprache normalisiert wird. Auch der Holocaust hat mit Worten begonnen. Es fing an mit der Behauptung, dass „Juden Ungeziefer“ seien und mit der Zeit wurde es dann ganz normal, solche Dinge zu sagen. Die Entmenschlichung ist nach dem Stufenmodell von Gregory Stanton eine der Phasen auf dem Weg zum Genozid. Deshalb werten wir bei der Prüfung der Kommentare nicht nur einzelne Schlüsselwörter aus, sondern ganze Sätze mit ihrem jeweiligen Kontext. Wenn jemand schreibt: „Zu Hause habe ich eine Ratte“, ist der Kommentar in Ordnung. Wenn man jedoch schreiben würde „Ukrainer sind Ratten“, dann ist das klar entmenschlichend. Leider ist die Entmenschlichung viel normaler geworden in den Sozialen Medien; und auch in der Politik wird hasserfüllte Sprache immer mehr zur Norm und das zeigt sich dann eben auch im realen Leben. Wenn es normal ist, über eine bestimmte Gruppe von Menschen zu sagen, dass sie Kakerlaken seien oder Ratten, dann ist es doch auch normal, diese Kakerlaken und Ratten zu töten, weil es Schädlinge sind oder Parasiten.

Gerade hast du beschrieben, wie sich das, was online passiert, auch in die physische Welt übertragen kann. Wie verhält es sich andersherum?

Wir beobachten, dass konkrete Taten, konkrete Worte von Politikern und Politikerinnen einen Einfluss auf die Online-Welt haben. Wenn zum Beispiel irgendeine NGO als „bezahlter amerikanischer Agent“ betitelt wird, dann erhält sie online Hasskommentare, dann kommen Drohungen. Manchmal sind das auch Organisationen, die die Menschen vorher überhaupt nicht gekannt haben. Wir helfen eben auch diesen NGOs. Wir nehmen wahr, dass die gesellschaftliche Nachfrage nach der Moderation Sozialer Netzwerke steigt. Die Sozialen Medien haben bisher darauf nicht reagiert. Es ist auch nicht zu erwarten, dass sie das tun werden.

 

Die Situation rund um die Sozialen Medien entwickelt sich da eher in die entgegengesetzte Richtung: Facebook hat den Faktencheck abgeschafft und die Plattform X ist längst ein Raum für die Verbreitung von Desinformationen und Hass.

Daran erkennt man, dass die Selbstregulation nicht funktioniert. Es ist höchste Zeit, dass der Digital Services Act, den wir in der Europäischen Union ja haben, auch wirklich durchgesetzt wird. Selbstverständlich muss das auf legalem Wege stattfinden, mit rechtlichen Mitteln und unter Aufsicht der Zivilgesellschaft. Nicht so wie in Russland oder anderen Diktaturen.

Müssen wir, die wir in Demokratien leben, in irgendeiner Weise eine neue Definition für Meinungsfreiheit finden?

Das Recht auf freie Meinungsäußerung ist klar definiert. Es geht eher darum, diese Definition auf die Online-Welt anzuwenden. Wenn ich über jemanden eine Unwahrheit verbreite, sollten die Sozialen Medien in der Lage sein, diese unmittelbar zu entfernen und nicht erst in drei Jahren, wenn es ein Gerichtsurteil gibt. Wenn mich oder meine Familie jemand bedroht, ist das keine Meinungsfreiheit, dann ist das ein Angriff.

Wie bewertest du die Relation zwischen Demokratie und Äußerungen von Hass und Hetze?

Demokratie ist ein System, in dem Gruppen von Menschen, die gegen die Demokratie kämpfen, leicht Macht erlangen können. Deshalb muss sich die Demokratie verteidigen. Sie muss sich gesetzlich verteidigen und auch gesellschaftlich. Die Äußerung von Hass ist in den europäischen Ländern rechtlich nicht zulässig. Demokratie kann funktionieren, auch wenn Menschen unterschiedlicher Meinung sind, aber sie müssen die gleiche Realität wahrnehmen. Hier setzt der Kampf gegen Desinformationen ein. Wenn die Menschen nicht in der gleichen Realität leben, können sie nur schwer mit denjenigen zusammenarbeiten, die verschiedener politischer Meinungen darüber sind, wie eine demokratische Gesellschaft funktionieren soll. Aus diesem Grund kommt es zu einer Polarisierung. Und die extreme Polarisierung ist eines der größten Probleme der Demokratie. Es kommt also zu einer Situation, in der eine Gruppe, die anders wählt als man selbst, nicht mehr als Menschen betrachtet werden, sondern als der ultimative Feind. Die Demokratie muss gegen Hass und dessen Normalisierung ankämpfen. Denn wohin das sonst führen kann, haben die Erfahrung aus den 1930er Jahren gezeigt.

In welchen Bereichen ist noch Verbesserungsbedarf, damit Hass und Hetze nicht immer weiter die Gesellschaft polarisieren und damit die Demokratie gefährden?

Das ist ein sehr komplexes Problem, aber im Allgemeinen hilft es, erstens Hassrede nicht zur Norm werden zu lassen und zweitens den gesellschaftlichen Zusammenhalt zu stärken. Wenn die Beziehung des Einzelnen zum Staat, zur Gesellschaft, zur Community und der Nachbarschaft eine gute ist, dann sind Gesellschaften weniger anfällig für Hassreden und Polarisierung. Das kann man an den skandinavischen Ländern sehen. Natürlich gibt es diese Probleme auch dort, aber sie sind geringer als in den post-kommunistischen Ländern. Man muss sich bewusst machen, dass man auch mit einer Person, mit der man wirklich nicht einer Meinung ist, etwas gemeinsam haben kann. Zum Beispiel sind beiden die Kinder wichtig. Oder die Familie, Freunde und Verwandte. Beide möchten Sicherheit. Man ist vielleicht unterschiedlicher Ansicht, aber man kann das gleiche Bier mögen. Es gibt immer eine Gemeinsamkeit. Doch es steht selbstverständlich außer Frage, darüber zu sprechen, ob jemand in ein Konzentrationslager gesteckt werden sollte. Das ist keine Meinung, über die man diskutieren kann, das ist purer Hass.

Welche Rolle spielt in diesem komplexen Problemzusammenhang die Bildung?

Eine große. Aber nicht die Bildung, bei der man auswendig lernt, sondern eine Bildung, die Werte vermittelt. Es geht nicht darum, ob jemand eine Hochschul- oder Grundschulbildung hat. Auch studierte Leute können Hassreden verbreiten. Es geht um Bildung für eine Werteerziehung, Zusammenhalt und gesellschaftliche Empathie. Das ist eine gesamtgesellschaftliche Aufgabe – wie kann auch der Staat so kommunizieren, dass gemeinsame Werte gefördert werden?

Denkst du, dass es momentan Ziel des Staates ist, Wege zu finden, die Werteerziehung zu fördern? Und dabei denke ich nicht nur an unseren slowakischen Staat, denn die Situation ist in vielen westlichen Ländern recht kompliziert.

In einem Staat gibt es unterschiedliche Menschen. Man kann nicht alle in einen Topf werfen. Auch in der Slowakei gibt es Hunderte, wenn nicht Tausende Lehrkräfte, die tagtäglich für ein niedriges Gehalt im Schulwesen arbeiten und den kommenden Generationen Werte vermitteln.

Glaubst du, dass die Verbreitung von wie auch immer geartetem Hass im Internet Einfluss auf die Bereitschaft der Menschen hat, sich für Anliegen der Allgemeinheit einzusetzen?

Ganz bestimmt. Und genauso wirkt sich auch schlechte Laune darauf aus. Die Menschen lesen in den sozialen Medien Nachrichten mit negativen Konnotationen und dann wollen sie sich weniger einbringen in die Demokratie. Diese Demokratiemüdigkeit ist ein Problem – und das ist auch in anderen Ländern zu beobachten. Viele Dinge sind kompliziert, kaum jemand ist zufrieden damit, wie Politik gemacht wird. Und dann kommen die Populisten mit einfachen Lösungen daher.

Demokratie ist anstrengend, weil sie den Menschen Mitwirkung abverlangt. Sie erwartet von den Menschen, dass sie sich interessieren, dass sie aktiv sind. Sind sie es nicht, dann partizipieren andere. Auf viele Fragen gibt es derzeit keine eindeutigen Antworten, es passiert so viel. Aber: In Europa haben wir in den vergangenen Jahrzehnten eine historische Ausnahme erlebt, weil es sehr wenig Krieg auf unserem Kontinent gegeben hat. Auch deshalb haben wir jetzt das Gefühl, dass das, was wir gerade erleben, das Schlimmste ist, was je passiert ist. Aber wenn man sich vorstellt, man wäre im Jahr 1900 geboren und sich überlegt, was man dann in den ersten vierzig Jahren seines Lebens alles erlebt hätte ... Demokratie ist ein ständiger Kampf. Aber es ist besser, für Demokratie zu kämpfen, als darauf zu warten – wie unsere Eltern zu kommunistischen Zeiten – was eine totalitäre Partei entscheidet.