Radó Nóra
Előítéletes algoritmusok

A nő mosolygós, a férfi hivatalos: az egyik legfrissebb tanulmány szerint a Google képfelismerő rendszere a nőkhöz háromszor annyi külsejükkel kapcsolatos asszociációt társít, mint a férfiakhoz.[1] Ez pedig csak egyetlenegy az algoritmikus előítélet számtalan példájából. Ki gondolta volna, hogy az egzakt adathalmazok feltételezett semlegességéből előítéletes szoftverek születhetnek? És ha már így alakult, mit tehetünk ellene? Valóban a teljes tiltás a megoldás?
 

Előítélet és algoritmus

Nagy visszhangot kaptak az utóbbi időben azok a hírek, miszerint az arcfelismerő rendszerekbe ágyazva az algoritmusok nehezebben ismerik fel a színesbőrű egyéneket. [1] Emiatt az IBM idén nyáron bejelentette, hogy kivonja a piacról efféle szoftverét, [2] az amerikai Portland városában pedig szeptemberben teljesen betiltották az arcfelismerő technológiák használatát, [3] sőt demokrata képviselők olyan törvénytervezetet terjesztettek a Kongresszus elé, amely szövetségi szinten tenné ugyanezt. [4]

Nem ez az egyetlen terület, ahol rosszul teljesítenek a születésükkor pártatlan és értékmentes döntőbírókként aposztrofált technológiák. Szinte már anekdotaszámba megy az Amazon szexista HR-algoritmusa, amelyik a korábbi, férfiak túlsúlyát mutató felvételi adatokat alapul véve bizonyos pozícióknál úgy találta, eleve érdemesebb kizárni a női jelölteket. [5] Említhetnénk azt is, amikor az egészségügyi ellátás mértékének megállapítására használt algoritmus csupán bizonyos etnikumokat favorizált, [6] vagy amikor az Apple Card a férfiaknak nagyobb hitelkeretet ítélt oda, mint a nőknek – még akkor is, ha házaspárról volt szó, közös bankszámlával. [7]

Hogyan születik a gépi előítélet?

Az okos algoritmusokat tanulóképességük teszi azzá: óriási adathalmazokból gépi tanulással (machine learning) képesek korábban nem ismert összefüggéseket kiszűrni, vagy bizonyos paraméterek alapján hasonlóságokat keresni – és ezt a tudást az újonnan bejövő adatokra is alkalmazzák. Ebből eredően Kabos Eszter Oxfordi Egyetemen végzett közgazdász szerint az adatokban rejlő és a fejlesztői környezetben megbúvó előítéletek törnek ismét felszínre az algoritmusban, amelyek tudatos figyelembe vételével csak az utóbbi időben kezdtek el érdemben foglalkozni. [8]

Az egyik leggyakrabban előforduló előítéletesség abból adódik, hogy bizonyos típusú adatok nem jelennek meg elég nagy számban ahhoz, hogy a szoftver később megfelelően bekategorizálja azokat. Ha például a fejlesztők azt szeretnék, hogy a szoftver felismerje a macskákat, akkor a kutatók több ezer macskás képet mutatnak meg a programnak, amelyek mindegyikét „macskaként” címkézték fel korábban. Így ha a szőrtelen szfinx-macska nem kerül be ebbe a válogatásba, akkor az algoritmus a későbbiekben nem fogja azt felismerni és doromboló kiskedvencként megjelölni. Sok esetben így jönnek létre a diszkriminatív arcfelismerő algoritmusok is.

Adatok és emberek

Eggyel összetettebb problémát jelent, amikor diverz adathalmazokon tanítják be az algoritmust, mégis előítéletessé válik – ahogy azt az Amazon kiválasztási szoftverénél láthattuk. Ilyen esetekben magukban a historikus adatokban rejlik az előítéletesség. Ha évtizedekkel korábban egy bizonyos állásra csak férfiak jelentkezhettek, és az algoritmus ezen adatok alapján dolgozik, akkor a paraméterek valamiféle manipulálására lesz szükség, hogy a kiválasztásnál az alulreprezentált csoportok, például a nők is esélyt kaphassanak.

Vásárhelyi Orsolya adattudós ennek kapcsán beszélt a különféle adathiányos jelenségekről. Historikusan tekintve, az adatok nagy része a nyugati kultúrában keletkezett, és általában ezek a fehér, heteroszexuális férfiak valamiféle tapasztalását, viselkedését írták le. Az utóbbi években kezdtek el azzal a problémával foglalkozni például, hogy az orvosi kutatásban az alanyok túlnyomó többsége ugyancsak fehér, heteroszexuális férfi, így egészségügyi alapadataink tulajdonképpen ennek a csoportnak az adatait jelentik. [10] Vásárhelyi Orsolya szerint mind a mai napig óriási adathiány tárható fel a nők vagy különféle marginalizált csoportok kapcsán, ami aztán teljesen beépül az adatokba, majd az ezek alapján tanuló algoritmusokba.

Egyik tizenkilenc, a másik egy híján húsz

Nem csupán maguk az adathalmazok, hanem az azokat fejlesztő környezet is járhat előítéletes végkimenetellel. Ha például a fejlesztőnek kell meghatároznia bizonyos paraméterek alapján, ki lesz jó adós, akkor a programozó a saját, akár látens előítéleteit akaratlanul is beépítheti az általa írt kódba – ezt a jelenséget nevezik algoritmikus előítéletnek. [11]

Vásárhelyi Orsolya szerint régebben is rengeteg előítélet alapján hoztak döntéseket az emberek, de az algoritmusok használatával automatizáljuk a folyamatokat, és gyakorlatilag egy normativizált problémát növelnek a százszorosára. Ha maradunk a hitelminősítések kérdésénél, akkor régen egy kisváros bankfiókjában az ügyintéző saját előítéletei alapján rosszabb feltételekkel vagy egyáltalán nem adott hitelt bizonyos csoportoknak, de ha ismerte a családot, és kontextusba tudta helyezni a történetüket, humánusabb döntést is tudott hozni. Manapság az Egyesült Államokban a hitelképességi minősítések mögött már nincsenek egyéni megfontolások, csak algoritmikus döntések, ezek pedig alig kevésbé előítéletesek a húsvér embereknél jelenleg. [12]

Merre tovább?

Az utóbbi időben rengetegen kezdték el feltárni az előítéletes algoritmusok jelenségét, és már olyan keretrendszerek is megjelentek, amelyek azonosítani tudják, hogy egy szoftver diszkriminál-e különféle demográfiai csoportokat. Ilyen például a Chicagói Egyetem adat- és közpolitikatudományokkal foglalkozó központjának (Center for Data Science and Public Policy) Aequitas nevű, nyílt forráskódú audit eszköztára, amellyel megérthetőek a gépi tanuláson alapuló szoftverek különféle előítéletei, és így könnyebben hozható döntés arról, érdemes-e az adott algoritmust továbbfejleszteni és alkalmazni.

Vásárhelyi Orsolya szerint az efféle eszközök megjelenése nagyon pozitív, és úgy véli, emellett annak is lehet algoritmikus méltányosságot növelő hatása, ha a szoftverfejlesztésbe beemelik az interdiszciplináris szemléletet. Egy behaviorista pszichológus vagy egy társadalomtudományokkal foglalkozó szakértő nem ugyanazzal a szemlélettel és háttérrel bír, mint egy szoftverfejlesztő, ezért könnyebben észrevehet az adatokban olyan összefüggéseket, amelyek korábban elkerülték a fejlesztőcsapat figyelmét.

Az előítéletek kiküszöbölésének másik eszköze az egyes vállalatok céljaihoz igazított algoritmusok emberségessé tétele. Bokányi Eszter és Hanák Anikó a Scientific Reports folyóiratban megjelent tanulmányukban például azt vezették le, hogyan lehetne az Uber és más autómegosztó szolgáltatás algoritmusát úgy megváltoztatni, hogy a cégek profitja lehetőleg ne, vagy ne nagyon változzon, ugyanakkor a jelenlegi helyzettel szemben a sofőrök megélhessenek munkájukból. [13]

Az efféle törekvések mindegyike ugyanazt a célt szolgálja: a technológiai fejlődés egy pillanatra se felejtse ki megoldásaiból az embert. Hiszen ezeket az eszközöket emberek teremtik meg azért, hogy jobbá tegyék a körülöttük lévő világot, nem szabad hagyni, hogy a végén ennek az ellenkezője történjen.


Hivatkozások

[1] Crumpler, William, „The Problem of Bias in Facial Recognition”, CSIS, Letöltés: 2020. 11. 28.
[2] „IBM abandons ’biased’ facial recognition tech”, BBC News, Letöltés: 2020. 11. 28.
[3] Metz, Rachel, „Portland passes broadest facial recognition ban in the US”, CNN Business, Letöltés: 2020. 11. 28.
[4] Jee, Charlotte, „A new US bill would ban the police use of facial recognition”, MIT Technology Review, Letöltés: 2020. 11. 28.
[5] „5 Examples of Biased Artificial Intelligence”, Logically, Letöltés: 2020. 11. 28.
[6] Kantarci, Atakan, „Bias in AI: What it is, Types & Examples, How & Tools to fix it”, AIMultiple, Letöltés: 2020. 11. 28.
[7] „Apple’s ’sexist’ credit card investigated by US regulator”, BBC News, Letöltés: 2020. 11. 28.
[8] Kabos Eszter, „Már a mesterséges intelligencia is előítéletes, és ez az ember hibája”, Quibit, Letöltés: 2020. 11. 28.
[10] Dresser, Rebecca, „Wanted Single, White, Male for Medical Research”, The Hastings Center Report 1992/1., 24–29.
[11] Kabos, „Már a mesterséges...”
[12] Miller, Jennifer, „Is an Algorithm Less Racist Than a Loan Officer?”, The New York Times, Letöltés: 2020. 11. 28.
[13] Bokányi Eszter és Hannák Anikó, „Understanding Inequalities in Ride-Hailing Services Through Simulations”, Scientific Reports, Letöltés: 2020. 11. 28.
[14] Simonite, Tom, „When AI Sees a Man, It Thinks ’Official.’ A Woman? ’Smile’”, Wired, Letöltés: 2020. 11. 28.