Na skróty:
Przejdź bezpośrednio do treści (Alt 1)Przejdź bezpośrednio do podmenu (Alt 3)Przejdź bezpośrednio do menu głownego (Alt 2)

Rządy algorytmów
Nadzór totalny

Przechodzenie na czerwonym świetle: Osoby łamiące przepisy ruchu drogowego są w Chinach publicznie piętnowane.
Przechodzenie na czerwonym świetle: Osoby łamiące przepisy ruchu drogowego są w Chinach publicznie piętnowane. | Foto (fragment): © picture alliance/dpa-Zentralbild/Klaus Grabowski

Algorytmy, które na podstawie zgromadzonych danych nagradzają lub karzą obywateli – w Chinach czy Indiach tzw. rządy algorytmów (algorithmic governance) już dawno stały się rzeczywistością. Jednak również w Niemczech programy komputerowe podejmują już decyzje, które mają konsekwencje dla wielu osób.

Arne Cypionka

Skrzyżowanie leżące na południe od mostu Changhong w kilkumilionowym chińskim mieście Xiangyang jest zatłoczone i chaotyczne. Samochody trąbią, piesi przechodzą przez ulicę na czerwonym świetle, a elektryczne skutery slalomem przedzierają się przez korek. Przy ulicy wisi wielki ekran z mnóstwem zdjęć portretowych. Czy to jeden z wielu reklamowych bilbordów? Nie. Policja w 2017 roku zainstalowała ten monitor, by zapewnić porządek. Wyświetla on twarze tych, którzy złamali zasady ruchu drogowego – i zostali na tym przyłapani przez kamery z funkcją automatycznego rozpoznawania twarzy. „Chodzi o to, by ich skompromitować przed sąsiadami i znajomymi“, powiedziała dziennikowi New York Times rzeczniczka miasta. Obok zdjęć napiętnowanych osób znajdują się ich nazwiska i numery dowodów tożsamości. Ot, środek wychowawczy.

Ekrany takie jak ten w Xiangyang to tylko niewielka część rządowego aparatu nadzoru i kontroli. Na potrzeby nowego systemu kredytu społecznego w zeszłym roku Komunistyczna Partia Chin uruchomiła w wielu miastach projekty pilotażowe, w ramach których gromadzi i zestawia ze sobą dane z kamer monitoringu, prywatnych czatów, sklepów internetowych i wielu innych źródeł. Celem jest objęcie wszystkich mieszkańców kraju jednym systemem oceny do 2020 roku. Dzięki olbrzymiemu nakładowi mocy obliczeniowych ostatecznie każdy Chińczyk otrzyma określoną liczbę punktów, którą komputerowe algorytmy będą potem stale aktualizować. Dla autorytarnego rządu krok taki wydaje się logiczny – dzięki niemu każdego spośród 1,4 miliarda Chińczyków można będzie indywidualnie kontrolować.

KONTROLA I KARA ZA POMOCĄ ALGORYTMU

O algorithmic governance mówi się wtedy, kiedy rządy lub instytucje zaczynają wykorzystywać gigantyczne strumienie danych pochodzące z mediów społecznościowych i innych platform, zaś decyzję, czy obywatela na podstawie tych danych należy nagrodzić czy ukarać, pozostawiają maszynom. Komputery rozpoznają wzory i rutyny, po czym automatycznie podejmują kroki dyscyplinarne: ten, kto zwróci wypożyczony rower w stanie niepogorszonym, nie będzie przechodził na czerwonym świetle i zawsze będzie punktualnie pojawiał się w pracy, zostanie nagrodzony punktami. Natomiast ten, kto w internecie skrytykuje chińską politykę albo chociażby będzie miał częsty kontakt ze źle ocenianymi osobami, będzie musiał patrzeć, jak stan jego punktów stale maleje. Konsekwencje będą drastyczne: osoby z niską liczbą punktów nie będą na przykład wpuszczane na pokłady samolotów czy pociągów wysokiej prędkości. Albo ich dzieci nie będą przyjmowane do prywatnych szkół.
 
Tak dokładna obserwacja mieszkańców kraju, gromadzenie o nich wszystkich informacji i wykorzystywanie ich przeciwko nim to nie tylko atak na sferę prywatną, ale również istotne ograniczenie swobód osobistych. A jednak nie tylko w Chinach instytucje dokonują oceny osobistych danych – także w Indiach podejmowane są próby uzyskania oglądu sytuacji obywateli za pomocą indywidualnej rejestracji.
 
Pod nazwą Aadhaar („fundament“) założono bazę danych, która obejmuje już 1,2 miliarda użytkowników, czyli większość populacji Indii. Dzięki dwunastocyfrowemu numerowi, do którego przypisane są imię i nazwisko danej osoby, jej wiek, ale również zdjęcie źrenicy i odciski wszystkich palców, teraz każdy może zostać zidentyfikowany w sposób niepozostawiający wątpliwości i na przykład złożyć wniosek o świadczenia społeczne – przynajmniej teoretycznie. Na początku roku indyjska dziennikarka Rachna Khaira pokazała słabości tego systemu. Nawiązała kontakt z hakerami, którzy za kwotę zaledwie 500 rupii, co w przeliczeniu wynosi ok. 6 euro, zapewnili jej dostęp do całej bazy danych. System Aadhaar, który miał zapobiec niesprawiedliwości i oszustwom przy rozdzielaniu pomocy żywnościowej, sam staje się coraz większym problemem. Podobno są już osoby, które umarły z głodu, ponieważ nie były w stanie przedstawić żadnych dokumentów albo system identyfikacji biometrycznej w ich przypadku nie zadziałał. Poza tym wycieki prowadzą do publikacji milionów rekordów danych.

Frauen registrieren sich in Indien für die Aadhaar-Datenbank. Frauen registrieren sich in Indien für die Aadhaar-Datenbank. | Foto (Zuschnitt): © picture alliance / NurPhoto

 

Czas na debatę o danych w Europie

Także w Europie zastosowanie algorytmów do analizy danych nie jest niczym niezwykłym. Inaczej niż w przypadku ryzykownych eksperymentów obu najludniejszych krajów na Ziemi – Chin i Indii – tutaj to niekoniecznie komputery organów państwowych obracają wielkimi ilościami danych osobowych. W Niemczech istnieje np. przedsiębiorstwo informacji kredytowej Schutzgemeinschaft für allgemeine Kreditsicherung [Wspólnota Ochrony Ogólnej Asekuracji Kredytowej], lepiej znane pod nazwą Schufa. Schufa podaje, że przechowuje 864 miliony informacji o ponad 67 milionach osób i 5 milionach przedsiębiorstw. Dokładny sposób funkcjonowania procesu, który ostatecznie pomaga w podjęciu decyzji, czy dana osoba będzie mogła wynająć mieszkanie albo zawrzeć umowę abonamentu w sieci komórkowej, spowija tajemnica. Nie są również znane kryteria, którymi posługuje się Schufa. Pewne sygnały mogą świadczyć o tym, że podczas oceny dochodzi do dyskryminacji kobiet.
 
Niemcy są dalekie od stawiania pod pręgierzem osób łamiących przepisy drogowe. A jednak nasuwa się pytanie: W jakim zakresie firmy takie jak Schufa czy instytucje publiczne powinny móc gromadzić i wykorzystywać dane? Najwyższy czas, by porozmawiać o legalności rządów algorytmów. W końcu chodzi o dyskusję o tym, czy chcemy przekazać kontrolę społeczną procesom maszynowym. Poprawnie skonfigurowane algorytmy mogłyby podejmować decyzje skutecznie, szybko i sprawiedliwie. Kiedy jednak przyjrzymy się ich aktualnemu stosowaniu, to wydaje się, że te zalety nie równoważą olbrzymiego potencjału nadużyć, ingerencji w sferę prywatną każdej jednostki oraz nieprzejrzystości procesów.