Droga od mowy nienawiści w Internecie do aktów przemocy w świecie rzeczywistym bywa krótka. Moderowanie dyskusji online w taki sposób, by celowo usuwać nienawistne komentarze, pomaga ograniczyć polaryzację społeczną, która stanowi zagrożenie dla demokracji. Tomáš Halász, współzałożyciel start-upu TrollWall AI, wykorzystuje sztuczną inteligencję do moderowania dyskusji w mediach społecznościowych. W wywiadzie tłumaczy między innymi, w jaki sposób podżeganie do nienawiści w sieci może prowadzić do znużenia społeczną aktywnością i obroną demokracji.

Magdaléna Rojo

Tomáš Halász jest byłym fotografem, znanym ze współpracy z licznymi agencjami prasowymi i organizacjami pozarządowymi. Z czasem porzucił fotografię na rzecz polityki, a następnie rozpoczął pracę w obszarze mediów społecznościowych. Zarządzając social mediami w biurze wiceprzewodniczącego Parlamentu Europejskiego, szukał rozwiązania, które pozwoliłoby mu automatycznie usuwać nienawistne komentarze. Ponieważ nie znalazł żadnego skutecznego narzędzia, postanowił stworzyć je samodzielnie z pomocą trojga współpracowników.

Czym jest TrollWall AI?

To aplikacja internetowa wykorzystująca sztuczną inteligencję do rozpoznawania i ukrywania hejterskich i wulgarnych komentarzy w mediach społecznościowych naszych klientów. Obecnie używana jest w siedmiu krajach przez firmy, instytucje, polityków, agencje, kluby sportowe i organizacje pozarządowe – m.in. przez Greenpeace, Amnesty International, Telekom, O2, w ramach Pucharu Świata w hokeju na lodzie, a nawet przez czeskiego prezydenta Petra Pavla. 

W jakich krajach działa wasza aplikacja i dlaczego właśnie tam?

Jesteśmy obecni w Słowacji, Czechach, Polsce, Rumunii, Niemczech, Hiszpanii i Argentynie. Zaczęliśmy od Słowacji, później pojawiły się projekty w sąsiednich Czechach, a kolejne działania podejmowaliśmy zgodnie z zapotrzebowaniem klientów.
TrollWall AI to złożony proces. Naszym punktem wyjścia była Europa Środkowa, ponieważ czujemy się tu jak w domu i znamy lokalne realia. W odróżnieniu od generatywnych modeli AI, naszą sztuczną inteligencję szkolimy tak, by rozumiała lokalne konteksty i wulgaryzmy. Mamy na przykład trzy warianty hiszpańskiego, ponieważ odmiana tego języka używana w Meksyku czy Argentynie znacznie różni się od tej europejskiej.

W jaki sposób trenujecie sztuczną inteligencję i jak działa wasze oprogramowanie?

Klienci zakładają konto na naszej stronie i integrują z nim swoje profile na Facebooku, Instagramie, Tiktoku lub YouTubie. Komentarze, które otrzymują, są analizowane przez sztuczną inteligencję – przeszkoloną wcześniej do rozpoznawania treści toksycznych – i w razie potrzeby automatycznie ukrywane. Wszystkie decyzje są widoczne w panelu użytkownika i mogą być przez niego modyfikowane.

Szkolimy sztuczną inteligencję, przeglądając olbrzymią liczbę komentarzy publikowanych w mediach społecznościowych w poszczególnych językach. Następnie wysyłamy je do trzech niezależnych ekspertów językowych z danego obszaru, takich jak tłumacze czy lingwiści, prosząc ich o ocenę i ewentualne uwagi. Osoby te oznaczają komentarze zgodnie z naszymi wytycznymi jako toksyczne, wulgarne lub nawołujące do nienawiści. Dopiero jeśli wszyscy trzej eksperci wystawią taką samą ocenę, materiał trafia do AI jako dane treningowe. Takie podejście pomaga nam wyeliminować osobiste uprzedzenia i zachować wysoką jakość oceny.

Jak definiujecie mowę nienawiści, którą ma wyłapywać sztuczna inteligencja?

Opieramy się na międzynarodowej definicji mowy nienawiści (hate speech). Obejmuje ona wszelkie wypowiedzi będące atakiem na osobę lub grupę ludzi ze względu na tożsamość, poglądy, wyznanie, pochodzenie, orientację seksualną itp. Dotyczy to również obelg i nawoływania do przemocy oraz toksycznego języka, w tym przekleństw i wulgaryzmów.

Czy hejterskie komentarze różnią się w zależności od kraju, w którym pracuje sztuczna inteligencja, lub od specyfiki klienta?

Różnice między państwami są niewielkie, nawet w ujęciu procentowym. Zauważamy, że na Słowacji i w Czechach komentarze antyimigranckie lub antymuzułmańskie pojawiają się stosunkowo rzadko, ponieważ nie stanowi to w tych krajach dużego problemu. W przeciwieństwie do Niemiec, gdzie takie komentarze są dość powszechne.  
Większe różnice widzimy natomiast między różnymi typami klientów. Przykładowo na stronach klubów sportowych zazwyczaj pojawiają się wulgaryzmy i wpisy rasistowskie, a rzadziej nienawistne komentarze dotyczące przemocy seksualnej. Z kolei polityczki częściej zmagają się z hejtem o podłożu seksualnym, z groźbami gwałtu i uwłaczającymi określeniami związanymi z ich płcią.

Wpadłeś na pomysł stworzenia TrollWall AI, ponieważ jako menedżer ds. social mediów nie mogłeś znaleźć narzędzia do skutecznego usuwania nienawistnych komentarzy w języku słowackim, które wyraźnie nasiliły się po rosyjskiej inwazji na Ukrainę. Początkowo miało to być praktyczne rozwiązanie, ułatwiające ci codzienną pracę. Dlaczego twoim zdaniem tak istotne jest, aby mowa nienawiści nie krążyła swobodnie w sieci?

Jednym z powodów są konsekwencje społeczne. Badania pokazują, że normalizacja języka nienawiści silnie wpływa na społeczeństwo, pogłębiając jego polaryzację, a przemoc w przestrzeni cyfrowej często znajduje odzwierciedlenie w przemocy fizycznej. Powszechnie wiadomo, że platformy społecznościowe nie moderują treści wystarczająco skutecznie – szczególnie w przypadku języków Europy Środkowo-Wschodniej, które są często pozostawione bez odpowiedniego nadzoru. Kolejnym powodem są względy biznesowe. Z najnowszych badań wynika, że firmy, marki i instytucje działające w mediach społecznościowych, które tolerują nienawistne lub toksyczne komentarze pod swoimi postami, budzą mniejsze zainteresowanie wśród użytkowników. Przekłada się to negatywnie zarówno na liczbę kliknięć w reklamy, jak i na reputację marki. Dyskusje pozbawione moderacji szybko zostają zdominowane przez niewielką, ale głośną grupę hejterów, którzy „przejmują scenę” i uderzają w innych –  zwłaszcza w mniejszości, kobiety i osoby z grup wrażliwych, które boją się angażować w takie dyskusje, ponieważ wiedzą, że zostaną zaatakowane. Wspomniałeś, że brak nienawistnych komentarzy w mediach społecznościowych przynosi korzyści dla firm. Czy to samo dotyczy polityki? Wydaje się przecież, że mowa nienawiści bywa wykorzystywana jako zamierzona strategia w kampaniach wyborczych.

To zależy od celu, jaki stawia sobie dany polityk. Oczywiście są tacy, którzy świadomie ją wykorzystują, ale dla zdecydowanej większości korzystniejsze jest, gdy dyskusje pod ich postami nie są toksyczne. Jeśli pierwszą rzeczą, jaką widzi użytkownik, jest agresywny język, automatycznie pojawia się u niego negatywne skojarzenie emocjonalne z danym profilem – co sprawia, że rzadziej do niego wraca. Nasze doświadczenia i dane wyraźnie pokazują, że gdy partie polityczne zaczęły moderować dyskusje w sieci i automatycznie ukrywać znaczną część wulgarnych i nienawistnych komentarzy, liczba osób komentujących wcale się nie zmniejszyła – wręcz przeciwnie, wzrosła jakość dyskusji, ponieważ do głosu zaczęli dochodzić także ci, którzy wcześniej milczeli.

W przypadku prezydenta czy instytucji państwowej kluczowa jest również reputacja. Nie można dopuścić do sytuacji, w której pod postem głowy państwa ktoś pisze, że Ukraińców należy rozstrzelać. Jeśli taki komentarz nie zostanie w porę usunięty, odbiorcy – choćby podświadomie – mogą zakładać, że osoba prowadząca profil zgadza się z jego treścią.

Czy macie konkretne przykłady wskazujące na to, że wasza aplikacja użyta przez danego polityka – a więc fakt, że pod jego postami pojawiało się mniej nienawistnych komentarzy –  pomogła mu wygrać wybory?

Zdecydowanie tak. Oczywiście nie twierdzimy, że zwycięstwo było wyłącznie naszą zasługą, ale TrollWall AI była wykorzystywana podczas wielu kampanii w różnych krajach – zarówno w wyborach lokalnych, parlamentarnych, jak i europejskich oraz prezydenckich. Co istotne, wielu klientów kontynuuje korzystanie z naszych usług również po zakończeniu kampanii.

Ktoś mógłby stwierdzić, że usuwanie komentarzy w ten sposób to przejaw cenzury. Co odpowiedziałbyś takiej osobie?

Podałbym przykład pokazujący różnicę między cenzurą a moderacją – czyli tym, co robi nasza sztuczna inteligencja. Wyobraźmy sobie, że prowadzę własną kawiarnię. Jeśli ktoś wchodzi i zaczyna obrażać mnie albo moich gości, mam prawo go wyprosić. Tak działa moderacja, ponieważ to moja kawiarnia, w której obowiązują moje zasady. Ta sama osoba może urządzić na zewnątrz demonstrację, krzycząc, że mam najgorszą kawiarnię w okolicy – nie będę jej w tym przeszkadzał, ale nie pozwolę, aby obrażała mnie lub gości w środku mojego lokalu. Cenzura polegałaby na tym, że ta osoba trafiłaby do więzienia za twierdzenie, że mam najgorszą kawiarnię na świecie oraz za obrażanie mojej osoby – tak jak dzieje się to niestety z obywatelami Rosji, gdy piszą w mediach społecznościowych, że nie będą głosować na Putina.

Nawiązując do twojego przykładu ze świata offline: jak bardzo twoim zdaniem problematyczne jest to, że ludzie nie zawsze zdają sobie sprawę, iż ich działania w przestrzeni cyfrowej w taki czy inny sposób przenoszą się do rzeczywistości?

Dzieje się tak wówczas, gdy język nienawiści ulega normalizacji. Holokaust też rozpoczął się od słów. Najpierw mówiono: „Żydzi to robactwo” – z czasem to określenie przestało szokować. Zgodnie z teorią Gregory'ego Stantona dehumanizacja jest jednym z kluczowych etapów prowadzących do ludobójstwa. Dlatego analizując komentarze w sieci, nie ograniczamy się do pojedynczych słów kluczowych, lecz bierzemy pod uwagę całe zdania wraz z kontekstem. Jeśli ktoś pisze: „Mam szczura w domu”, wszystko jest w porządku. Ale jeśli ktoś napisze: „Ukraińcy to szczury” – to już dehumanizacja. Niestety, ten sposób mówienia ulega normalizacji w mediach społecznościowych, a język nienawiści coraz częściej staje się normą także w polityce, co znajduje odzwierciedlenie w rzeczywistości . Jeśli zezwalamy na określanie pewnej grupy ludzi „karaluchami” lub „szczurami”, to z czasem normą stanie się również ich eliminowanie, ponieważ zagrażają społeczeństwu jako pasożyty i szkodniki.

Właśnie opisałeś proces, w którym działania online łatwo zostają przeniesione do świata rzeczywistego. A jak działa to w drugą stronę?

Z naszych obserwacji wynika, że konkretne czyny i wypowiedzi polityków mają bezpośredni wpływ na to, co wydarza się w przestrzeni cyfrowej. Na przykład, gdy jakaś organizacja pozarządowa zostanie publicznie nazwana „płatnym agentem amerykańskim”, niemal natychmiast zaczyna otrzymywać w sieci nienawistne komentarze i groźby – często od osób, które wcześniej nawet o niej nie słyszały. W takich sytuacjach często wspieramy te organizacje. Doskonale zdajemy sobie sprawę, że zapotrzebowanie na moderację treści w mediach społecznościowych stale rośnie. Jednocześnie nie można oczekiwać, że platformy same z siebie podejmą stosowne działania – bo zazwyczaj tego nie robią.

 

W ostatnim czasie media społecznościowe zmierzają raczej w przeciwnym kierunku: Facebook zrezygnował z fact-checkingu, a platforma X już dawno stała się przestrzenią do szerzenia dezinformacji i mowy nienawiści.

To wyraźnie pokazuje, że samoregulacja nie działa. Najwyższy czas, aby przepisy unijnego Aktu o usługach cyfrowych (Digital Services Act) były faktycznie egzekwowane. Oczywiście musi się to odbywać legalnie, za pomocą środków prawnych i pod nadzorem społeczeństwa obywatelskiego. Nie w sposób znany z Rosji lub innych państw autorytarnych.

Czy jako obywatele państw demokratycznych musimy na nowo zdefiniować wolność słowa?

Prawo do wolności wypowiedzi jest jasno zdefiniowane. Musimy raczej dostosować tę definicję do realiów świata cyfrowego. Jeśli ktoś rozpowszechnia nieprawdziwe informacje o drugiej osobie, media społecznościowe powinny usuwać takie komentarze natychmiast – a nie dopiero po trzech latach, kiedy zapadnie wyrok sądowy. Jeśli ktoś grozi mi lub mojej rodzinie, nie mamy do czynienia z wolnością słowa, lecz z atakiem.

Jak oceniasz relację między demokracją a mową nienawiści i podżeganiem do niej?

Demokracja to system, w którym nawet jej przeciwnicy mogą stosunkowo szybko dojść do władzy. Dlatego musi ona umieć się bronić – zarówno poprzez normy prawne, jak i społeczne. W krajach europejskich wyrażanie nienawiści jest zakazane. Demokracja może funkcjonować nawet wtedy, gdy obywatele mają różne poglądy – pod warunkiem, że postrzegają tę samą rzeczywistość. Właśnie dlatego walka z dezinformacją ma tak ogromne znaczenie. Jeśli ludzie przestają uznawać wspólne normy, ciężko będzie im prowadzić dialog z ludźmi o odmiennych poglądach politycznych na temat tego, jak powinna wyglądać demokracja. W efekcie narasta polaryzacja, a jej skrajne formy stają się jednym z najpoważniejszych zagrożeń dla systemu demokratycznego. Coraz częściej zdarza się, że osoby głosujące na inne partie przestają być postrzegane jako współobywatele, lecz jak najwięksi wrogowie. Demokracja musi aktywnie przeciwdziałać mowie nienawiści i jej normalizacji. W przeciwnym razie ryzykujemy, że historia z lat 30. XX wieku zacznie się powtarzać.  

W jakich obszarach potrzebne są zmiany, aby mowa nienawiści nie pogłębiała polaryzacji i nie stanowiła zagrożenia dla demokracji?

To bardzo złożona kwestia. Przede wszystkim nie możemy dopuścić do tego, aby mowa nienawiści stała się normą. Drugim kluczowym krokiem jest wzmacnianie poczucia wspólnotowości. Tam, gdzie relacja jednostki z państwem, społeczeństwem, sąsiadami i lokalną wspólnotą jest dobra, ludzie są mniej podatni na ekstremizmy i polaryzację. Najlepiej widać to na przykładzie Skandynawii, gdzie również występują podobne problemy, ale na znacznie mniejszą skalę niż w krajach postkomunistycznych. Musimy sobie uświadomić, że nawet z osobami, które myślą inaczej, mamy coś wspólnego – na przykład ważne są dla nas dzieci, rodzina, przyjaciele czy kwestia bezpieczeństwa. Możemy różnić się poglądami, ale lubić to samo piwo. Zawsze znajdą się między nami podobieństwa. Jednak niedopuszczalnym jest, aby dyskutować o tym, czy ktoś powinien trafić do obozu koncentracyjnego. To nie jest kwestia poglądów – to czysta nienawiść.

Jaką rolę odgrywa edukacja w przeciwdziałaniu mowie nienawiści i polaryzacji?  

Edukacja ma w tym procesie ogromne znaczenie. Nie chodzi jednak o edukację sprowadzającą się do wkuwania definicji, lecz o taką, która kształtuje wartości. Poziom formalnego wykształcenia tak naprawdę nie chroni przed szerzeniem mowy nienawiści – robią to także ludzie wyedukowani. Dlatego tak ważne jest wychowanie do wartości oraz kształtowanie solidarności i empatii społecznej. To zresztą zadanie nie tylko dla szkół, ale dla całego społeczeństwa. Kluczowe pytanie brzmi: jak powinno komunikować się państwo, żeby wspierać wspólne wartości?

Czy uważasz, że współczesne państwa stawiają sobie za cel wychowanie do wartości? Mam na myśli nie tylko Słowację, w której mieszkamy – również w wielu krajach zachodnich sytuacja w tym względzie jest bardzo złożona.

W każdym państwie żyją różni ludzie i nie można wrzucać wszystkich do jednego worka. Także na Słowacji są setki, jeśli nie tysiące nauczycieli, którzy codziennie przekazują młodym pokoleniom istotne wartości, mimo że pracują w oświacie za bardzo niskie wynagrodzenie.

Czy sądzisz, że szerzenie mowy nienawiści w sieci wpływa na gotowość ludzi do działania na rzecz dobra wspólnego?

Zdecydowanie. Mowa nienawiści wpływa nie tylko na jednostki, ale na ogólne nastroje społeczne. Kiedy ludzie codziennie czytają w mediach społecznościowych wiadomości o negatywnym zabarwieniu, osłabia to ich motywację do działania na rzecz wspólnoty. Znużenie demokracją staje się realnym problemem – obserwujemy je obecnie w wielu krajach. Sprawy społeczne są skomplikowane, a mało kto jest zadowolony ze sposobu uprawiania polityki. I właśnie wtedy na scenę wchodzą populiści oferujący proste odpowiedzi na złożone problemy.

Demokracja jest wymagająca, ponieważ żąda od ludzi zaangażowania, zainteresowania i aktywności. Jeśli ludzie nie zabierają głosu – zrobią to za nich inni. A dziś odpowiedzi na wiele pytań nie są oczywiste, bo świat zmienia się szybko i dynamicznie. W ostatnich dekadach żyliśmy w wyjątkowym okresie pokoju, ponieważ wojny na naszym kontynencie były rzadkością. Dlatego dziś, gdy znów jesteśmy ich świadkami, mamy poczucie, że doświadczamy czegoś najgorszego. Wyobraźmy sobie jednak, że urodziliśmy się w 1900 roku: ile zła i dramatów doświadczylibyśmy w pierwszych czterdziestu lat życia? Demokracja to nieustanna walka. Ale lepiej walczyć o nią dziś, niż czekać – jak nasi rodzice w czasach komunizmu – aż zdecyduje za nas jakaś totalitarna partia.