Eine Diskussion im Wandel
KI und Bias

Von Dr. Michiel Baas

Künstliche Intelligenz (KI) benötigt Daten – was zwangsläufig zu Problemen führt, denn große Datensätze sind nicht neutral. Auch wenn wir KI gern als objektive Instanz betrachten – als fehlerfreies mathematisches System, das Ordnung in die Unordnung menschlicher Entscheidungsprozesse bringt -, liefert sie uns meist subjektive Ergebnisse. Jeder Algorithmus trägt Spuren der Menschen und Geschichten in sich, auf denen er beruht. Datensätze enthalten Informationen darüber, in welchen Schritten sie erfasst und warum sie auf eine bestimmte Weise gepflegt und gekennzeichnet wurden. Deshalb lässt sich das menschliche Einwirken auf diesen Prozess immer nachvollziehen. Weil KI heute keine Science-Fiction mehr ist, sind wir alle von den Vorurteilen betroffen, die sie reproduziert. Das bedeutet, dass wir ganz besonders darauf achten müssen, welche falschen Darstellungen, Diskriminierungen und Rassismen sie verbreiten könnte.

Was genau ist ein Vorurteil (Bias)?

Wenn wir von „Vorurteilen“ in der KI sprechen, heißt das nicht, dass wir ihr eigene Meinungen zugestehen. Diese Vorurteile schleichen sich über Daten ein – über Inhalte, mit denen wir sie füttern. Maschinen lernen aus der Vergangenheit, und die Vergangenheit ist, wie wir wissen, nicht neutral. Sie steckt voller einzigartiger Ideen, Präferenzen und Meinungen. Wird ein Algorithmus beispielsweise mit historischen Personaldaten trainiert, könnte er lernen, dass Männer gegenüber Frauen bevorzugt eingestellt werden, und einfach das Muster wiederholen.

Die Forschung unterscheidet zwischen vielen verschiedenen Formen von Vorurteilen. Datenverzerrung (Data Bias) liegt dann vor, wenn die Trainingsdaten für ein Modell bestimmte Personengruppen ausschließen. Dies geschieht häufig in Indien, wo ein Großteil der Daten von städtischen oder englischsprachigen Nutzer*innen stammt. Stichprobenverzerrung (Selection Bias) tritt auf, wenn ein Datensatz nicht die Realität widerspiegelt. Eine Gesundheits-KI, die vor allem mit Patient*innen aus Delhi oder Mumbai trainiert wurde, könnte beispielsweise im ländlichen Bihar oder Karnataka keinerlei Nutzen haben. Probleme durch Umweltverschmutzung treten viel häufiger in Megacitys auf, während Menschen in ländlichen Regionen ganz andere Schwierigkeiten durch körperlich anstrengende Arbeit oder den Zugang zur Gesundheitsversorgung haben. Dann gibt es die Bestätigungsverzerrung (Confirmation Bias), die dann entsteht, wenn Entwickler*innen zumeist unbeabsichtigt Daten auswählen, die ihre bereits vorhandenen Meinungen bestätigen. Häufig jedoch liegt der Fehler nicht in den Daten, sondern im Designziel selbst. Eine Optimierung im Sinne der „Effizienz“ kann zu Auslassungen führen, die bereits benachteiligten Menschen zusätzlich schaden.

Wie erkennt man einen Bias?

Wenn man erst einmal darauf achtet, findet man KI-Bias fast überall. Bei Personalentscheidungen hat sich gezeigt, dass Tools zur automatischen Sichtung von Bewerbungen männliche Bewerber oder Absolventen bestimmter Eliteschulen bevorzugen. Auch Altersdiskriminierung kommt hier häufiger vor. Alter dient nicht nur als Anhaltspunkt für körperliche Fitness, sondern z. B. auch für die Wahrscheinlichkeit einer Schwangerschaft bei Bewerberinnen. Dies führt dazu, dass ältere Männer und jüngere Frauen immer seltener zu Vorstellungsgesprächen eingeladen werden. Personaldaten der Vergangenheit liefern hier entscheidende Hinweise. Wichtig ist aber auch, inwieweit sich die Entwickler*innen und Nutzer*innen dieser Systeme des Fehlerpotenzials bewusst sind.

Im Finanzsektor könnten Algorithmen zur digitalen Kreditvergabe Menschen aus einkommensschwächeren Regionen oder mit geringer Kreditwürdigkeit benachteiligen. Dies mag aus Sicht der Banken zwar Sinn ergeben, doch es verschärft eine Situation, die an sich schon weniger Chancen bietet, noch zusätzlich. Darüber hinaus wird womöglich nicht die Gesamtsituation berücksichtigt. Die KI arbeitet auf der Grundlage von Datensätzen, doch sie kann keine zusätzliche Informationen anfordern oder Menschen, die sich um einen Job bewerben oder einen Kredit beantragen, um ihre Stellungnahme bitten. Deshalb müssen sich alle, die diese Tools nutzen wollen, kritisch damit auseinandersetzen, wie ein bestimmter Datensatz funktioniert und wie viel Vertrauen sie in die KI legen wollen. In Code-Dependent: Living in the Shadow of AI (2024) erinnert uns Madhumita Murgia daran, dass automatische Systeme die Lebensentwürfe von Menschen in aller Welt auf den Kopf stellen. Wie viel Vertrauen wollen wir ihnen entgegenbringen? Wer hat die Kontrolle und was bleibt von unserer Autonomie und Handlungsfähigkeit in dieser Entwicklung?

Gesichtserkennungssysteme, die heute überall an Flughäfen und in städtischen Überwachungssystemen zum Einsatz kommen, werfen ähnliche Bedenken auf. Viele dieser Tools werden auf der Grundlage von Datensätzen aus der westlichen Welt entwickelt. Allerdings zeigen Studien in anderen Ländern, dass sie Menschen mit dunklerer Hautfarbe häufiger falsch identifizieren. Joy Buolamwinis Unmasking AI: My Mission to Protect What Is Human in a World of Machines (2023) liefert hierzu wichtige Erkenntnisse. Man stelle sich einmal vor, welche Risiken derartige Fehler insbesondere im Bereich der Strafverfolgung in Ländern wie Brasilien oder Indien mit einer vielfältigen Bevölkerung bergen könnten. Automatisierte Sozialsysteme zur Leistungsvergabe sortieren manchmal die Schwächsten aus — Menschen mit Unstimmigkeiten in den Unterlagen, falsch geschriebenen Namen oder ohne Internetzugang. Bias geht nicht immer mit Diskriminierung oder Rassismus einher, sondern manchmal einfach nur mit Ausgrenzung.

Hier war die Pandemie besonders aufschlussreich. Sie hat deutlich gemacht, wie Systeme, die mit KI arbeiten, häufig diejenigen ausschließen, die am meisten auf Unterstützung angewiesen sind. Ein grundlegendes Problem ergibt sich daraus, dass nicht alle Menschen einheitlich in Datensätzen abgebildet werden und einige überhaupt nicht darin vorkommen. Die KI muss immer von Menschen begleitet und überwacht werden. Wir alle sind dringend dazu aufgefordert, wachsam zu bleiben. Dies betrifft auch unseren täglichen Umgang mit Technologien. Sprachassistenten haben Probleme mit Akzenten und Regionalsprachen. Übersetzungsanwendungen machen aus neutralen Formulierungen auf Hindi häufig geschlechtsspezifische englische Sätze – eine medizinische Fachkraft ist automatisch ein Mann, also „er“, eine Pflegekraft automatisch eine Frau, also „sie“. Und Social-Media-Algorithmen, die hauptsächlich über Aufmerksamkeit funktionieren, können die Reichweite wütender oder polarisierender Posts zusätzlich steigern, weil Empörung einfach die Klickzahlen erhöht.

Was bedeutet Bias für uns?

Ein fehlerhaftes System könnte eine falsche Prognose im Krankenhaus, eine erfolglose Bewerbung oder die Ablehnung eines Kreditantrags zur Folge haben. Im weiteren Sinne kann es die sozioökonomische Ungleichheit verstärken und das Vertrauen in die Technologie senken. Wenn sich die Überzeugung durchsetzt, dass „intelligente“ Systeme vorurteilsbehaftet und ungerecht sind, werden die Menschen sie nicht weiter nutzen.

In einem so vielfältigen Land wie Indien hat der Bias eine weitere Konsequenz: Er verstärkt und vertieft die digitale Kluft. Wenn Tools hauptsächlich auf englischsprachige städtische Nutzer*innen mit hohem Bildungsniveau zugeschnitten werden, bleiben Menschen in ländlichen Regionen und Sprecher*innen kleinerer Sprachen auf der Strecke. Es besteht das Risiko, dass die KI bestehende Hierarchien unter einem neuen digitalen Label verstärken könnte.

Warum kommt Bias immer noch vor?

Vorurteile ergeben sich nicht nur aus den Codes – sie sind auch ein soziales und kulturelles Problem. Die Daten, auf denen die meisten Algorithmen beruhen, stammen von Personen, die sich am einfachsten messen lassen: Menschen, die (häufig) online sind und ihre Smartphones für verschiedene Dienstleistungen und Funktionen nutzen. Viele der im Globalen Süden eingesetzten Modelle wurden aus dem Westen importiert oder dort mit Datensätzen trainiert, die die lokalen Gegebenheiten nicht verstehen. Darüber hinaus ist die Tech-Branche sowohl sprachlich als auch mit Blick auf soziale und kulturelle Hintergründe und praktische Erfahrungen noch nicht besonders divers aufgestellt.

Ein weiteres Problem ist die Transparenz. Unternehmen legen nur selten offen, wie ihre Algorithmen Entscheidungen treffen. Bewerber*innen werden womöglich nie erfahren, warum ihr Lebenslauf nicht berücksichtigt wurde. Bürger*innen ist vermutlich nicht bewusst, dass ein Computer und kein Mensch ihren Antrag auf Sozialhilfe abgelehnt hat. Verantwortungsvolles Handeln ist ohne Offenheit nicht möglich.

Der menschliche Spiegel

Doch es gibt Anlass zu Hoffnung. In Indien und anderen Ländern fordern Datenwissenschaftler*innen repräsentativere Datensätze, die auch Regionalsprachen, ländliche Bevölkerungen und verschiedene gesellschaftliche/kulturelle Gruppen berücksichtigen. Darüber hinaus haben Regierungen im Globalen Süden damit begonnen, Regeln für eine ethische KI zu entwickeln, die Transparenz und Gerechtigkeit stärker in den Vordergrund stellen. Einige Unternehmen führen unabhängige Audits zu ihren Algorithmen durch, um Systeme vor der Veröffentlichung auf Vorurteile zu prüfen. Payal Arora formuliert in From Pessimism to Promise: Lessons from the Global South on Designing Inclusive Tech (2024) nicht nur richtungsweisende Vorschläge, sondern macht auch deutlich, dass Technologie allein das Problem nicht lösen wird. Vorurteile spiegeln die Gesellschaft und damit uns alle zusammen wider. Für eine gerechte KI müssen wir sicherstellen, dass auch die Welt, von der sie lernt, gerecht ist. Dabei geht es nicht nur um Inklusivität und Diversität, sondern auch um die Bereitschaft, die eigenen Überzeugungen zu hinterfragen.

Letztlich sind Vorurteile in der KI nicht nur eine technische Störung. Sie halten uns einen Spiegel aus Codes und Daten vor, die uns auf beunruhigende Weise zeigen, wer wir heute schon sind. Wir stehen nicht vor der Hausforderung, die Maschinen perfekt, sondern uns selbst gerechter zu machen. Dafür müssen wir uns immer darüber bewusst sein und darauf achten, wie wir uns selbst in den Daten wiederfinden, mit denen die KI trainiert wird. Die Vorurteile in der KI sind die Vorurteile, die wir alle in uns tragen!