TrollWall AI | Інструменти проти ненависті в інтернеті  «Демократія є складною»

Мова ворожнечі в інтернеті може легко набути форм фізичного насильства. Модерація дискусій таким чином, щоб такі коментарі в них не з'являлися, допомагає зменшити суспільну поляризацію, яка сьогодні загрожує демократії. Ми поспілкувалися з Томашем Галашем, співзасновником TrollWall AI, компанії, яка допомагає модерувати дискусії в онлайн-просторі з допомогою штучного інтелекту, про те, як хейт в інтернеті призводить до втоми в захисті демократії.

Томаш Галаш — колишній фотограф, відомий своїми роботами для інформаційних агентств та некомерційних організацій. Згодом він перейшов від фотографії до політики, а потім — до управління соціальними мережами. Коли Галаш працював менеджером соціальних мереж у віцепрезидента Європейського парламенту, то шукав інструмент, який допоміг би йому автоматично вилучати коментарі, що викликають ворожнечу. Не знайшов, тож разом з колегами вирішив такий створити.

---

Що таке TrollWall AI?

Це вебзастосунок, який з допомогою ШІ приховує ненависницькі та нецензурні коментарі під сторінками наших клієнтів у соціальних мережах. Наразі у семи країнах світу його використовують компанії, президенти, установи й агентства, спортивні клуби та неурядові організації, серед яких президент Чехії Петр Павел, Greenpeace, Amnesty International, Telekom, O2 та Чемпіонат світу з хокею.

У яких країнах використовують TrollWall AI і чому саме там?

Словаччина, Чехія, Польща, Румунія, Німеччина, Іспанія, Аргентина. Ми стартували у Словаччині. Логічно, що потім попрямували до Чехії, а далі туди, де є зацікавленість з боку клієнтів. Це різноманітний процес, але починаємо з Центральної Європи, звідки ми родом. Наша особливість в тому, що ми тренуємо наш ШІ розуміти місцевий контекст і місцеві лайливі слова, саме цим ми відрізняємося від універсальних ШІ. Наприклад, у нас є три версії іспанської мови, оскільки мексиканська та аргентинська іспанська відрізняються від іспанської, якою спілкуються у Європі.

Як ви налаштовуєте ШІ і як працює ваше програмне забезпечення?

Наші користувачі створюють обліковий запис у вебдодатку, до якого вони можуть прив'язати свою сторінку у Facebook або Instragram, Tiktok чи YouTube. Усі коментарі, які вони отримують, наш ШІ оцінює відповідно до того, як він навчений: чи є коментар токсичним, чи ні. І якщо так, він автоматично приховує його. Усі рішення ШІ видимі у вебінтерфейсі, тож користувач може їх змінити.

Ми підготували ШІ, взявши для кожної мови величезну кількість коментарів, які люди пишуть у соціальних мережах. І доручили їх анотувати, тобто маркувати трьом незалежним локальним особам, лінгвістичним експертам й експерткам — перекладачам письмових текстів, усним перекладачам. Якщо коментарі були токсичними, вульгарними чи образливими, вони позначали їх відповідно до наших правил. І коли всі троє погоджуються, що даний коментар є токсичним або містить ненависть, тільки тоді він потрапляє до ШІ, який навчається на основі цього. Ми залучаємо щонайменше трьох локальних людей, щоб уникнути упередженості лише однієї особи.

Як же ви визначаєте мову ворожнечі, яку приховує ваш ШІ?

Ми трактуємо мову ворожнечі згідно з міжнародним визначенням hate speech, тобто як напад на людину або групу осіб на підставі ідентичності, національності, політичних переконань, релігійних вірувань, раси, сексуальної орієнтації тощо. Далі вже йдуть погрози, підтримка насильства. І додаємо до цього токсичну мову, себто лайку, нецензурні вирази.

Чи відрізняється форма мови ворожнечі у різних країнах, де ви працюєте, або серед різних клієнтів?

Різниці між країнами незначні, навіть у відсотковому співвідношенні. Можливо, це тому, що в Словаччині та Чехії ненависницькі висловлювання щодо мігрантів чи мусульман не є поширеними, оскільки тут це не є настільки гострою темою. У Німеччині ви побачите більше таких випадків.

Існують відмінності залежно від типів клієнтів. Наприклад, у спортивних клубах вживають більше нецензурних слів, але менше мови ворожнечі, пов’язаної зі сексуально зумовленим насильством. Трапляються расистські коментарі. Тоді як у мережах жінок-політикинь більше ворожих висловлювань на сексуальному підґрунті, погроз зґвалтуванням, образ, адресованих саме жінкам.

TrollWall AI виник тому, що у своїй роботі менеджера соціальних мереж ти не знайшов інструмент, який допоміг би тобі видаляти ненависницькі коментарі словацькою мовою, кількість яких значно зросла після повномасштабного російського вторгнення в Україну. Тож це було практичне рішення, яке мало полегшити твою роботу в той час. Чому дуже важливо, щоб ці ненависницькі коментарі не з'являлися в онлайн-просторі?

Одна з причин — соціальна. Дослідження показують, що нормалізація мови ворожнечі врешті-решт проявляється у суспільстві. З одного боку, в його поляризації. З іншого — в тому, що онлайн-насильство перетворюється на насильство фізичне. Відомо, що соціальні мережі недостатньо модеруються, тим паче нашими мовами, які мало підтримуються. Інша причина — бізнес. Існують дослідження, які доводять, що компанії, бренди чи інституції, які спілкуються в соціальних мережах і залишають ненависні або токсичні коментарі під профілями, викликають менший інтерес серед своїх прихильників. А це негативно впливає як на клікабельність рекламного оголошення, так і на репутацію їхнього бренду. Якщо дискусія не модерується, то в ній легко домінує галаслива група хейтерів, які мають час і витісняють з простору інших людей, передусім меншин, жінок та інші вразливі групи, які бояться приєднатися до немодерованої дискусії, бо знають, що будуть атаковані.
 

Кажеш, що компаніям вигідно, щоб у соціальних мережах не було ненависницьких висловлювань. Чи так само це стосується й політики? Бо насправді мова ворожнечі сьогодні використовується і як стратегія.

Це залежить від мети того чи іншого політика або політикині. Так, є ті, що це використовують, але для більшості краще, коли дискусія не є токсичною. Якщо я, як користувач, першим бачу токсичне висловлювання, у мене підсвідомо формується негативна емоційна оцінка цього профілю. Тож хочу бачити його менше. Наш досвід і наша статистика свідчать, що коли політичні партії почали модерувати дискусії й автоматично приховувати значну частину токсичних або вульгарних коментарів, то не зменшилася кількість людей, які коментують, але покращилася якість дискусії, оскільки почали долучатися люди, які зазвичай не брали участі.

У випадку з президентами чи державними інституціями йдеться також про репутацію. Для комунікації глави держави неприпустимо, якщо під його дописами в соцмережах хтось пише, що українців треба розстрілювати. Люди підсвідомо вважають, що той, хто опублікував цей пост, ймовірно, погоджується з коментарем, оскільки залишає його там.

Маєте конкретний випадок, коли АІ TrollWall застосовували кандидат або кандидатка, і те, що під їхніми дописами було менше ненависних коментарів, допомогло йому чи їй здобути перемогу?

Звичайно, допомогло. Не можна сказати, що тільки завдяки нам хтось переміг. Але TrollWall AI вже використовувався на різних виборах — місцевих, парламентських, європейських і президентських. У декількох країнах. І клієнти залишаються з нами навіть після виборів.

Хтось міг би стверджувати, що таке видалення коментарів є цензурою. Що б ти відповів на це?

Наведу приклад, щоб показати різницю між цензурою та модерацією, яку робить наш ШІ. Якщо у мене є власне кафе, а хтось прийде туди й почне лаяти мене чи моїх клієнтів, то я маю право його вигнати. Це модерація. Бо він у мене в кафе, тут діють мої правила. Якщо захоче, він може піти на площу, щоб проголошувати, що у мене найгірше кафе у світі, там його обмежувати не буду, але в моєму кафе він не буде кричати на мене, не буде ображати моїх клієнтів. Цензура є тоді, коли він скаже, що у мене найгірше у світі кафе, й опиниться у в'язниці — так, як люди в Росії, коли вони напишуть у соціальній мережі, що не будуть голосувати за Путіна.

Ти вже навів приклад того, як це працює в офлайн-світі, а наскільки ти вважаєш проблемою те, що люди не завжди усвідомлюють, що їхні заяви в онлайн-просторі можуть у якійсь формі перенестися в офлайн-середовище?

Таке перенесення відбувається, коли мова ворожнечі нормалізується. Навіть Голокост починався зі слів. Він почався з тверджень, що «євреї — це таргани», і з часом стало нормою говорити такі речі. Дегуманізація, за шкалою Грегорі Стентона, є одним із кроків до геноциду. І тому ми оцінюємо не тільки ключові слова в коментарях, але й цілі речення у їхньому контексті. Якщо хтось пише: «У мене вдома живе пацюк», то такий коментар — це нормально. Але якщо скажу, що «українці — пацюки», то це вже дегуманізація. На жаль, дегуманізація стала нормою в соціальних мережах, мова ворожнечі поступово закріплюється й у політиці, а потім це проявляється і в реальному житті. Якщо є нормою казати про якусь групу людей, що вони — таргани або вони — пацюки, то зазвичай вважають нормою знищувати їх, як шкідників чи паразитів.

Ми говорили про те, як щось з онлайн-світу може переноситися у світ фізичний. А чи буває навпаки?

Бачимо, що конкретні дії, конкретні слова політиків мають вплив в онлайн-світі. Наприклад, коли громадську організацію називають «проплаченим американським агентом», вона починає зазнавати нападів в інтернеті, починає отримувати погрози. Іноді це організації, про які люди не знали раніше. Ми також допомагаємо цим громадським організаціям. Ми бачимо, що суспільний запит на модерацію соціальних мереж зростає. Соціальні мережі поки що не відреагували на це. І ми не очікуємо, що вони відреагують.

Ситуація зі соціальними мережами рухається у зворотному напрямку: Facebook закрив фактчекерів, X вже давно став простором для поширення як дезінформації, так і ненависті.

Очевидно, що саморегуляція не працює. Настав час для того, щоб Закон про цифрові послуги, який ми маємо у Європейському Союзі, був реально застосований. Якщо він буде правильно діяти, то може змусити соціальні мережі змінити спосіб своєї роботи, принаймні в Європі. Звичайно, це треба робити законно, з допомогою правових інструментів і під наглядом громадянського суспільства. Не так, як у Росії чи інших диктаторських режимах.

Ми повинні в рамках тих демократій, у яких живемо, якось по-новому переосмислити свободу слова?

Свобода слова має чітке визначення. Йдеться радше про застосування визначення в онлайн-світі. Якщо я поширюю про когось неправду, соціальні мережі повинні видалити це негайно, а не через три роки, коли виграють суд. Коли хтось погрожує мені та моїй родині — то це не свобода слова, це погроза.

У чому бачиш взаємозв'язок між демократією та мовою ворожнечі?

Демократія — це система, у якій групи, що виступають проти демократії, можуть легко отримати владу. Саме тому демократію потрібно захищати. Вона повинна захищатися юридично, а також соціально. Мова ворожнечі є юридично неприйнятною в європейських країнах. Демократія може функціонувати, коли ми маємо різні думки, але ми повинні однаково відчувати реальність. Тут вже питання боротьби з дезінформацією. Якщо ми не живемо в одній реальності, нам буде важко працювати з людьми, що мають різні політичні погляди на те, як має функціонувати суспільство у рамках демократії. І тому виникає поляризація. Однією з найбільших проблем демократії є надмірна поляризація. Тоді виникає ситуація, коли група, яка голосує інакше, ніж я, вже не сприймається як люди, а як затяті вороги. Демократія повинна боротися з ненавистю та її нормалізацією. Ми вже маємо досвід 1930-х років, щоб зрозуміти, до чого це може призвести.

Які ще сфери можна покращити, щоб мова ворожнечі не загрожувала демократії, не призводила до поляризації суспільства?

Це дуже складна проблема, але загалом: 1. не нормалізувати мову ворожнечі і 2. соціальна згуртованість. Якщо відносини з державою, суспільством, громадою, сусідами добре налагоджені, суспільства менш схильні до мови ворожнечі та поляризації. Це можна побачити на прикладі скандинавських країн. Звичайно, ця проблема існує і там, але вона менша, ніж у посткомуністичних країнах. Варто усвідомити, що навіть з людиною, з якою ми дійсно не згодні, у нас може бути щось спільне. Наприклад, обом нам важливі наші діти. Наша родина, близькі. Ми обоє хочемо безпеки. Ми можемо мати різні думки, але нам може смакувати те саме пиво. Завжди є щось спільне. Але, звісно, те, чи треба відправляти когось до концтабору, не є темою жодної дискусії. Це не думка, яку треба обговорювати, це ненависть.

Яку роль у цій складній проблемі відіграє освіта?

Велику. Але не освіта, яка полягає в заучуванні, а освіта, що спрямована на цінності. Річ не в тому, чи має хтось вищу освіту, чи початкову. Навіть люди з вищою освітою можуть поширювати мову ворожнечі. Йдеться про виховання цінностей, згуртованості, соціальної емпатії. Це загальна суспільна проблема — як держава може комунікувати так, щоб підтримувати спільні цінності?

Як думаєш, чи є актуальним завданням держави пошук шляхів виховання ціннісних орієнтирів? Маю на увазі не лише нашу державу, бо ситуація складна в багатьох західних країнах.

У державі є різні люди. Не всіх можна міряти однією міркою. У Словаччині теж є сотні, якщо не тисячі, вчителів і вчительок, які щоденно за низьку платню працюють в системі освіти, формуючи певні цінності у майбутніх поколінь. Це також держава. Держава — це кожен чиновник, який допомагає. Йдеться не лише про найвищих посадовців.

Вважаєш, що поширення будь-яких форм вираження ненависті в інтернеті впливає на бажання людей брати участь у громадських справах?

Безумовно, впливає. Як і поганий настрій. Люди читають повідомлення з негативною конотацією в соціальних мережах, а потім не так вже й прагнуть долучатися до демократії. Існує проблема втоми від демократії — ви бачите це також в інших країнах. Багато речей є складними, мало хто дійсно вдоволений тим, як працює політика. А потім з'являються популісти, які пропонують прості рішення.

Демократія складна, бо потребує участі людей. Вона хоче, щоб люди були зацікавлені, щоб вони щось робили. А коли вони цього не роблять, то беруть участь інші. Зараз немає чітких відповідей на багато питань, багато чого відбувається. Але в Європі ми пережили унікальний період історії, коли протягом останніх десятиліть на нашому континенті було дуже мало воєн. Саме тому зараз відчуваємо, що те, що відбувається, — це найгірше, що коли-небудь траплялося. Але якщо людина уявить собі, що народилася у 1900 році, і гляне на те, що пережила б за перші сорок років свого життя... Демократія — це постійна боротьба. Але краще боротися за демократію, ніж чекати, як це робили наші батьки за часів комунізму, коли тоталітарна партія все вирішить.

Квітень 2025