TrollWall AI | Nástroje proti online nenávisti  „Demokracia je náročná“

Nenávistné prejavy na internete sa môžu ľahko preniesť do podoby fyzického násilia. Moderovanie diskusií, aby sa v nich takéto komentáre neobjavovali, pomáha tiež redukovať polarizáciu spoločnosti, ktorá dnes ohrozuje demokraciu. S Tomášom Halászom, spoluzakladateľom firmy TrollWall AI, ktorá pomáha moderovať diskusie v online priestore za pomoci umelej inteligencie, sme sa rozprávali aj o tom, ako hate na internete vedie k únave z obrany demokracie.

Tomáš Halász je bývalý fotograf, ktorý je známy svojou prácou pre spravodajské agentúry a neziskové organizácie. Od fotenia sa neskôr odklonil k politike a potom k manažovaniu sociálnych sietí. Keď pracoval ako social media manažér pre viceprezidenta Európskeho parlamentu, hľadal nástroj, ktorý by mu pomohol automaticky vymazávať nenávistné komentáre. Nenašiel, a tak sa ho rozhodli s kolegami vytvoriť.

---

Čo je TrollWall AI?

Je to webová aplikácia, ktorá pomocou AI skrýva nenávistné a vulgárne komentáre pod stránkami na sociálnych sieťach našich klientov. Aktuálne ju v siedmich krajinách využívajú firmy, prezidenti, inštitúcie a agentúry, športové kluby a mimovládne organizácie, napríklad český prezident Petr Pavel, Greenpeace, Amnesty International, Telekom, O2 či Majstrovstvá sveta v hokeji. 

V ktorých krajinách využívajú TrollWall AI a prečo práve tieto krajiny?

Slovensko, Česko, Poľsko, Rumunsko, Nemecko, Španielsko, Argentína. Začínali sme na Slovensku. Logicky sme potom šli do Čiech a postupne tam, kde je záujem od klientov. Je to rôznorodý proces, ale začíname v strednej Európe, odkiaľ sme. Naša špecialita je, že trénujeme našu AI, aby rozumela lokálnemu kontextu a lokálnym nadávkam, tým sa aj líšime od generických AI. Máme napríklad tri verzie španielčiny, lebo mexická a argentínska španielčina sú iné ako španielčina používaná v Európe.

Ako AI trénujete a ako teda funguje váš software?

Naši užívatelia si vo webovej aplikácii spravia účet, ku ktorému môžu pripojiť svoju stránku na Facebooku alebo Instragrame, Tiktoku, či Youtube. Všetky komentáre, ktoré dostanú, naša AI vyhodnotí, podľa toho, ako je natrénovaná, či je komentár toxický, alebo nie. A ak je, tak ho automaticky skryje. Všetky rozhodnutia AI sú viditeľné vo webovom rozhraní a môžu byť zmenené užívateľom.

AI sme trénovali tak, že sme zobrali pre každý jazyk obrovské množstvo komentárov, ktoré ľudia píšu na sociálnych sieťach. A dali sme ich anotovať, čiže označiť nezávisle trom lokálnym ľuďom, lingvistickým expertom a expertkám – prekladateľom, tlmočníkom. Tí ich označili, či sú podľa našich smerníc toxické, vulgárne alebo nenávistné. A keď sa zhodli všetci traja, že daný komentár je toxický, prípadne nenávistný, až potom išiel komentár do AI, ktorá sa na základe toho učí. Používame minimálne troch miestnych ľudí, aby sme sa vyhli zaujatosti iba jedného človeka. 

Ako teda vy definujete nenávistné prejavy, ktoré vaša AI skrýva?

Nenávistné prejavy definujeme podľa medzinárodnej definície hate speech, čiže ako útok na osobu alebo skupinu osôb na základe identity, národnosti, politického presvedčenia, náboženského presvedčenia, rasy, sexuálnej orientácie a pod. Potom sú tam vyhrážky, podpora násilia. A pridávame k tomu toxický jazyk, teda nadávky, vulgarizmy. 

Líši sa podoba nenávistných prejavov v rôznych krajinách, kde pracujete, prípadne u rôznych klientov?

Rozdiely medzi krajinami nie sú veľké, dokonca ani v percentuálnom počte. Možno len to, že na Slovensku a v Česku nie sú bežné proti-migrantské alebo proti-moslimské nenávistné prejavy, lebo tu to nie je taká veľká téma. V Nemecku ich vidieť viac. 

Rozdiel je pri rôznych typoch klientov. Napríklad športové kluby majú viac vulgarizmov, menej nenávistných prejavov kvôli sexuálne orientovanému násiliu. A mávajú rasistické komentáre. Zatiaľ čo političky majú na svojich sieťach viac sexuálne orientované nenávistne prejavy, vyhrážky znásilnením, nadávky smerované na ženy ako také.

TrollWall AI vznikol, lebo si nenašiel pri svojej práci manažéra sociálnych sietí nástroj, ktorý by ti pomohol vymazávať nenávistné komentáre v slovenčine, ktorých množstvo veľmi narástlo po celoplošnej ruskej invázii Ukrajiny. Bolo to teda praktické riešenie, ktoré ti malo vtedy zjednodušiť prácu. Prečo ale vnímaš ako dôležité, aby tieto nenávistné komentáre neboli v online priestore?

Jeden dôvod je spoločenský. Štúdie hovoria, že normalizácia nenávistného jazyka sa nakoniec prejavuje aj v spoločnosti. Na jednej strane v jej polarizácii. Na druhej aj v tom, že z online násilia sa stáva fyzické násilie. Vieme, že sociálne siete samy nemoderujú dostatočne a obzvlášť nie v našich jazykoch, ktoré sú málo podporované. Ďalší dôvod je biznisový. Sú štúdie, ktoré dokazujú, že firmy, značky či inštitúcie, ktoré komunikujú na sociálnych sieťach a pod profilmi nechávajú nenávistné alebo toxické komentáre, vyvolávajú menší záujem u svojich fanúšikov. A má to negatívny dopad na klikateľnosť reklamy aj na reputáciu ich značky. Ak je diskusia nemoderovaná, tak ju ľahko ovládne hlučná menšina hejterov, ktorí majú čas a vytlačia z priestoru iných ľudí, a to primárne menšiny, ženy a iné ohrozené skupiny, ktoré sa boja zapájať do nemoderovanej diskusie, lebo vedia, že budú atakované.
 

Hovoríš, že pre firmy je výhodné nemať na sociálnych sieťach nenávistné prejavy. Platí toto aj v politike? Lebo pravda je taká, že nenávistne prejavy sa dnes využívajú aj ako stratégia.

Záleží to od cieľa daného politika alebo političky. Áno, sú takí, ktorí to využívajú, ale pre veľkú väčšinu je lepšie, keď diskusia nie je toxická. Ak ja ako užívateľ ako prvé vidím toxický jazyk, podvedome si vytváram negatívnu emocionálnu konotáciu s daným profilom. A chcem ho vidieť menej. Z našej skúsenosti a našich štatistík vyplýva, že keď politické strany začali moderovať diskusie a automaticky skrývať významnú časť komentárov, ktoré boli toxické alebo vulgárne, neznížil sa počet ľudí, ktorí komentujú, ale zvýšila sa kvalita diskusie, lebo sa začali zapájať aj ľudia, ktorí sa bežne nezapájali.

Napríklad v prípade prezidentov alebo štátnych inštitúcií je to aj o reputácii. Nie je v poriadku pre komunikáciu hlavy štátu, ak mu pod postami niekto píše, že Ukrajincov treba vystrieľať. Ľudia si podvedome hovoria, že ten, čo daný post uverejnil, s tým asi súhlasí, keď to tam necháva.

Máte konkrétnu skúsenosť, že TrollWall AI využíval nejaký kandidát alebo kandidátka a viete povedať, že to, že pod jeho postami nebolo toľko nenávistných prejavov, mu alebo jej pomohlo k víťazstvu? 

Určite pomohlo. Nemôžeme povedať, že len vďaka nám vyhral. Ale TrollWall AI bol použitý už v niekoľkých voľbách - v komunálnych, parlamentných, európskych a prezidentských. Vo viacerých krajinách. A klienti s nami zostávajú aj po voľbách. 

Niekto by mohol argumentovať, že takéto vymazávanie komentárov je cenzúra. Čo by si takému človeku odpovedal?

Uvediem príklad pre rozdiel medzi cenzúrou a moderáciou, akú robí naša AI. Ak mám svoju vlastnú kaviareň, príde do nej niekto a začne mi tam nadávať alebo mojim zákazníkom, mám právo ho vyhodiť. To je moderácia. Lebo je u mňa v kaviarni a tam platia moje pravidlá. Keď chce, môže chodiť na námestie demonštrovať, že mám najhoršiu kaviareň na svete, tam ho obmedzovať nebudem, ale v mojej kaviarni na mňa nebude kričať, nebude mojim zákazníkom nadávať.  Cenzúra je, keby za to, že povie, že mám najhoršiu kaviareň na svete a vynadal by mi k tomu, skončil v base tak, ako končia ľudia v Rusku, keď napíšu na sociálnu sieť, že nebudú voliť Putina. 

Keď už si uviedol príklad, ako by to fungovalo v offline svete, nakoľko vnímaš ako problém, že ľudia si nie vždy uvedomujú, že to, čo hlásajú v online priestore, sa môže preniesť v nejakej podobe aj do offline prostredia?

K tomu preneseniu dochádza, keď sa normalizuje nenávistný jazyk. Aj holokaust sa začal slovami. Začalo to tvrdeniami, že „Židia sú šváby“ a časom bolo normálne hovoriť takého vety. Dehumanizácia je podľa stupnice Gregoryho Stantona jedným z krokov ku genocíde. A preto aj my vyhodnocujeme v rámci komentárov nielen kľúčové slová, ale celé vety v ich kontexte. Ak niekto napíše: „Mám doma potkana“, takýto komentár je v poriadku. Ale ak poviem, že „Ukrajinci sú potkany“, tak to je už dehumanizácia. Bohužiaľ, dehumanizácia sa normalizovala na sociálnych sieťach a aj v politike sa nenávistný jazyk stáva normou a potom sa to prejavuje aj reálnom živote. Ak je normálne hovoriť o nejakej skupine ľudí, že sú šváby, že sú potkany, tak šváby a potkany je normálne zabíjať, lebo to sú škodcovia alebo paraziti. 

Hovorili sme o tom, že to, čo sa odohráva v online svete sa môže preniesť do fyzického sveta. Ako je to naopak?

Vidíme, že konkrétne činy, konkrétne slová politikov majú dosah do online sveta. Napríklad, keď je nejaká mimovládna organizácia označená za „zaplateného amerického agenta“, tak začne dostávať online hejty, začne dostávať vyhrážky. Niekedy sú to aj organizácie, o ktorých ľudia dovtedy nevedeli. Pomáhame aj týmto mimovládnym organizáciám. Vidíme, že spoločenský dopyt po moderovaní sociálnych sietí sa zvyšuje. Sociálne siete na to zatiaľ nereagovali. A ani nečakáme, že budú.

Situácia okolo sociálnych sietí sa skôr vyvíja opačným smerom – Facebook zrušil factcheckerov, X je dlhodobo priestorom pre šírenie dezinformácií aj nenávisti.

Na tomto vidíme, že samoregulácia nefunguje. Teraz je na čase, aby Digital Services Act, ktorý máme v Európskej únii, sa naozaj vymáhal. Keď bude správne použitý, môže prinútiť aj sociálne siete zmeniť to, ako fungujú, minimálne v Európe. Samozrejme treba to robiť legálne, právnymi nástrojmi a pod dohľadom občianskej spoločnosti. Nie ako v Rusku alebo v iných diktatúrach.
 

Musíme v rámci tých demokracií, v ktorých žijeme, nejakým spôsobom predefinovať slobodu slova? 

Sloboda slova je definovaná dobre. Ide skôr o aplikáciu definície na online svet. Keď o niekom šírim nepravdy, sociálne siete by to mali vedieť odstrániť v momente a nie o tri roky, keď vyhrá súd. Keď sa niekto vyhráža mne a mojej rodine, to nie je sloboda prejavu, to je ohrozovanie.

Ako vnímaš vzťah demokracie a nenávistných prejavov? 

Demokracia je systém, v ktorom môžu skupiny, ktoré proti demokracii bojujú, ľahko získať moc. Preto sa demokracia musí brániť. Musí sa brániť právne a musí sa brániť aj spoločensky. Nenávistné prejavy sú v európskych krajinách legálne neprípustné. Demokracia môže fungovať, keď máme rozdielne názory, ale musíme prežívať rovnakú realitu. Tu sa dostávame k boji s dezinformáciami. Ak nežijeme v rovnakej realite, ťažko sa nám bude spolupracovať s ľuďmi s rozdielnymi politickými názormi na tom, ako má spoločnosť fungovať v rámci demokracie. A preto vzniká polarizácia. Jeden z najväčších problémov demokracie je extrémna polarizácia. Teda situácia, v ktorej skupina, ktorá volí inak ako ja, už nie sú ľudia, ale sú ultimátni nepriatelia. Demokracia musí bojovať proti nenávisti a jej normalizácii. Už máme skúsenosti z 30. rokov minulého storočia, kam to môže smerovať.  

V akých oblastiach je ešte priestor na zlepšenie, aby nenávistne prejavy demokraciu neohrozovali, tým, že vedú k polarizácii spoločnosti?

Je to veľmi komplexný problém, ale vo všeobecnosti pomáha: 1. nenormalizovať nenávistné prejavy a 2. spoločenská kohézia. Ak je dobre nastavený vzťah so štátom, spoločnosťou, s komunitou, so susedmi, spoločnosti sú menej náchylné na nenávistne prejavy a polarizáciu. To sa dá vidieť v škandinávskych krajinách. Samozrejme, že aj tam existuje tento problém, ale je menší ako v post-komunistických krajinách. Treba si uvedomiť, že aj s človekom, s ktorým naozaj nesúhlasíme, môžeme mať niečo spoločné. Obidvom nám záleží napríklad na našich deťoch. Na našej rodine, blízkych. Obaja chceme bezpečnosť. Máme iné názory, ale môžeme mať radi to isté pivo. Niečo spoločné tam vždy je. Ale samozrejme, to, či treba poslať niekoho do koncentračného tábora, nepatrí do žiadnej diskusie. To nie je názor, o ktorom sa diskutuje, to je hejt. 

Akú úlohu zohráva v tomto komplexnom probléme vzdelávanie?

Veľkú. Ale nie vzdelávanie, kde sa memoruje, ale vzdelávanie k hodnotám. Nie je to o tom, či niekto má vysokoškolské alebo základne vzdelanie. Aj vysokoškolsky vzdelaní ľudia vedia šíriť nenávistne prejavy. Je to o vedení k hodnotám, súdržnosti, spoločenskej empatii. Toto je všeobecne spoločenský problém – ako aj štát môže komunikovať, aby podporoval spoločné hodnoty?

Myslíš si, že je aktuálne cieľom štátu hľadať cesty k výchove k hodnotám? A nemyslím len nášho štátu, ale situácia je komplikovaná v mnohých západných krajinách.

V štáte sú rôzni ľudia. Nedávajme všetkých do jedného vreca. Aj na Slovensku sú stovky, ak nie tisíce učiteľov, učiteliek, ktorí denno-denne za nízky plat pracujú v školstve a vštepujú nejaké hodnoty budúcim generáciám. Aj to je štát. Štát je každý jeden úradník, ktorý pomôže. To nie je len o najvyššie postavených ľuďoch. 

Myslíš si, že šírenie akejkoľvek nenávisti na internete vplýva na to, akú chuť majú ľudia participovať na veciach verejných? 

Určite áno. A rovnako na to vplýva aj zlá nálada. Ľudia čítajú na sociálnych sieťach správy s negatívnou konotáciou a potom sa chcú menej zapájať do demokracie. Problém je s únavou z demokracie – a to vidieť aj v iných krajinách. Veľa vecí je komplikovaných, málokto je naozaj spokojný s tým, ako sa robí politika. A potom prídu populisti, ktorí ponúkajú jednoduché riešenia.

Demokracia je náročná, lebo chce od ľudí participáciu. Chce od ľudí, aby sa zaujímali, aby niečo vykonali. A keď to nevykonajú oni, tak participujú iní. Na mnohé otázky teraz nie sú jednoznačné odpovede, deje sa toho veľa. Ale – v Európe sme zažili v posledných dekádach výnimku v histórii, kedy bolo veľmi málo vojen na našom kontinente. Aj preto máme teraz pocit, že to, čo zažívame, je to najhoršie, čo sa kedy stalo. Ale keď si človek predstaví, že sa narodí v roku 1900 a pozrie si, čo by zažil prvých štyridsať rokov svojho života... Demokracia je neustály boj. Ale lepšie je bojovať za demokraciu, ako len čakať – ako naši rodičia za komunistov – na to, ako rozhodne totalitná strana.

apríl 2025