Dans notre monde moderne, rien n'échappe à la révolution numérique. La façon dont nous nous déplaçons, communiquons et consommons est contrôlée par des lignes de code, et ce code devient de plus en plus intelligent. Mais l’intelligence artificielle est loin d’être aussi impartiale ou neutre qu’elle n’y paraît.
Sur une trajectoire de collision
« ERREUR CRITIQUE »: Des voyants rouges clignotent sur le tableau de bord de votre voiture autonome. Vous approchez d’un feu tricolore quand, soudain, les freins lâchent. En quelques secondes, le véhicule va provoquer un accident. Le programme informatique ordonnera-t-il à la voiture de continuer sa route, tuant les piétons devant vous ? Ou calculera-t-il une nouvelle trajectoire en déviant vers un poteau à proximité, stoppant net le véhicule mais vous tuant potentiellement dans l’impacte ? Qui, dans le monde, serait capable de prendre la « bonne » décision dans ce scénario – sans même parler d’un programme informatique ?
Mon intérêt pour l’éthique de l’intelligence artificielle (IA) est né de cette version moderne du célèbre dilemme du tramway. En 2016, j’étais ingénieur logiciel dans la Silicon Valley, travaillant sur des programmes contrôlant des voitures autonomes. Pour nous, ce dilemme n’était pas qu’une expérience de pensée philosophique. C’était ce qu’en informatique nous appelons un scénario catastrophe.
Dans notre monde moderne, rien n’échappe à la révolution numérique. Nos déplacements, nos communications, notre consommation : en 2022, tout est régit par du code écrit par des équipes d’ingénieurs qui y incorporent inévitablement leurs propres idées, croyances et biais sur le fonctionnement du monde.
Pourtant, les biais algorithmiques existent depuis les débuts de l’informatique. Dès 1976, le pionnier Joseph Weizenbaum nous mettait en garde contre les conséquences néfastes – volontaires ou non – du code. Les premiers cas de programmes contraires à l’éthique sont apparus peu après. Entre 1982 et 1986, plus de 60 femmes et membres de minorités ethniques se sont vu refuser l’entrée à la faculté de médecine de St. George’s Hospital en raison des biais d’un système d’évaluation automatisé. Malheureusement, même Joseph Weizenbaum n’aurait pu anticiper l’ampleur que prendrait ce problème avec la maturation des programmes d’IA et la prochaine révolution technologique.
Grande puissance, de grandes responsabilités ?
Au début des années 2010, l’IA et lemachine learningont bouleversé notre façon d’écrire du code. Plutôt que de rédiger une séquence d’instructions déterministes (comme une recette de cuisine), ces méthodes permettent désormais de générer du code à partir de vastes volumes de données (comme un chef expérimenté qui agit par intuition).
Cette approche permet de créer des applications autrefois impensables : reconnaissance précise de la parole ou des images, mais aussi des programmes capables, un jour, de guider une voiture autonome dans un trafic complexe.
Mais rien n’est gratuit : ces prouesses ont un prix. L’IA repose sur des modèles « boîte noire». Aujourd’hui, non seulement elle reflète les biais des programmeurs, mais elle en ajoute d’autres, issus des données d’entraînement. Et comme nous ne comprenons pas encore vraiment le fonctionnement de ces boîtes noires, les programmes d’IA sont vulnérables aux attaques malveillantes et notoirement difficiles à contrôler.
Dans son état actuel, l’IA ne se contente pas de refléter les biais des programmeurs ; elle en ajoute d’autres, issus des données utilisées pour son développement.
Les avancées technologiques récentes créent des dilemmes éthiques dignes de scénarios de science-fiction. Les IA des voitures autonomes pourraient, par exemple, prendre la décision d’éviter un obstacle ou non en se basant sur leurs données d’entraînement. Elles pourraient apprendre à compter les individus et prendre des décisions en fonction du nombre total. Elles pourraient aussi se fonder sur des critères comme le genre, l’âge ou la nationalité (voir Moral Machines du MIT pour en savoir plus).
Travailler sur ce problème m’a appris qu’il est crucial d’anticiper ces défaillances et biais algorithmiques cachés. Il n’existera peut-être jamais de « bonne » décision unique dans un scénario type dilemme du tramway, mais nous savons, en tant que société, que les IA ne doivent pas se baser sur des critères discriminants comme la race ou le genre.
La responsabilité qui pèse sur les codeurs d’IA est souvent terrifiante. Le travail d’une poignée d’ingénieurs peut impacter des milliards de vies. Mais pas de quoi s’inquiéter, me disais-je. Nous pouvons faire confiance aux décideurs pour détecter les failles critiques et éviter de créer des applications aux effets néfastes – intentionnels ou non. Hélas, mes espoirs ont vite été déçus quand j’ai regardé de plus près.
Le travail d’une poignée d’ingénieurs peut impacter des milliards de vies.
L’IA est déjà là… et elle est effrayante
J’ai quitté la Silicon Valley pour entreprendre un doctorat en intelligence artificielle.Mon objectif ultime était de rendre l’IA plus digne de confiance. Un jour, je suis tombé sur un article décrivant une start-up qui prétendait utiliser la reconnaissance vidéo par IA pour des recrutements « sans biais ». Cela m’a immédiatement glacé le sang.
Appliquer une technologie mal comprise à l’une des décisions les plus importantes de la vie d’une personne – être embauché ou non – est terrifiant. Pousser l’audace jusqu’à affirmer que l’IA peut réellement contourner les biais humainsest non seulement faux, mais aussi extrêmement dangereux.
Rien n’est plus éloigné de la réalité, car dans de nombreux cas, les systèmes basés sur l’IA et leurs prédictions amplifient les biais existants à une échelle inédite, plutôt que de les éviter. Pour comprendre ce phénomène, il faut plonger au cœur de l’ingrédient secret de tout programme d’IA :les données historiques dont il tire ses informations.
En général, les ensembles de données sont créés, collectés et sélectionnés par des personnes en position de pouvoir.Dans le cas du recrutement par IA, les données consistent en l’historique de toutes les embauches passées. Elles reflètent les biais, les croyances et les visions du monde de leurs curateurs, ainsi que le contexte dans lequel elles ont été recueillies. Une liste d’anciens employés peut remonter à des décennies, à une époque que nous considérons aujourd’hui comme profondément inéquitable envers certains genres et minorités.
Je n’ai donc pas été surpris lorsque des recherches ont révélé que les outils de recrutement par IA apprenaient rapidement à privilégier les candidats masculins. Dans certains cas, ils sont même allés jusqu’àpénaliser les CV mentionnant le mot « femme », comme « capitaine du club d’échecs féminin ». Dans l’espoir de sensibiliser à ce problème, j’ai créé une liste appelée IA effrayante. Au fil des ans, cette liste a recensé des centaines d’applications classées dans des catégories courantes : discrimination, désinformation, surveillance et armes.
Automatiser le racisme
Les conséquences néfastes des applications d’IAsont souvent involontaires pour leurs créateurs et peuvent être attribuées à une méconnaissance des enjeux éthiques et des limites techniques. Prenons l’exemple de Tay, le chatbot de Microsoft qui apprenait à partir des tweets.En moins d’un jour après son lancement, Microsoft a dû le retirer après qu’il s’est mis à proférer des messages antisémites.
Le programme de reconnaissance d’images de Google en est un autre exemple : il a étiqueté les visages de plusieurs personnes noires comme des gorillas. Amazon Recognition, quant à lui, a identifié à tort des femmes à la peau foncée comme des hommesdans 31 % des cas, alors que les femmes à la peau claire n’étaient mal identifiées que7 % du temps.
Il est bien connu que tous les services de reconnaissance d’image à grande échelles ont aux prises avec des problèmes de racisme automatisé. Ces dernières années, les chercheurs ont développé des outils et des méthodes pour étudier les modèles d’IA de manière isolée, dans l’espoir de réduire leurs effets nocifs.
Mais si ces outils fonctionnent bien sur des cas individuels, ils ne peuvent pas résoudre un problème plus vaste : à l’ère de l’automatisation, des prédictions biaisées servent désormais de fondement à des aspects cruciaux de la société, comme le maintien de l’ordre.
Amplifying Discrimination
PredPol est un programme de prédiction policière basé sur l'IA, utilisé par le département de police de Los Angeles pour identifier les zones potentielles de criminalité. Le programme recommande ensuite aux officiers de patrouiller dans les lieux ainsi ciblés. C'est la même idée dangereuse : les humains sont imparfaits, donc nous devrions utiliser une technologie d'IA "objective" pour sélectionner les zones de patrouille et, par conséquent, arrêter des individus sur la base de ses prédictions.
Vous avez probablement deviné où se situe le problème : les chercheurs en IA n'ont pas été surpris lorsque des études ont révélé que PredPol présentait un biais important en faveur des lieux fréquemment visités par le passé. Cela a entraîné une surveillance disproportionnée des quartiers habités par des minorités ethniques. L'IA avait été entraînée sur des données historiques d'arrestations aux États-Unis - qui reflètent fortement le racisme systémique du système judiciaire. Ainsi, PredPol n'a pas seulement reproduit le racisme présent dans ses données d'apprentissage ; il a aussi automatisé ce racisme à grande échelle et amplifié ses effets.
Ce qui rend cet exemple dangereux pour la société, c'est que l'idée d'un programme d'IA prétendument objectif (bien que complexe) encourage les policiers à ne pas remettre en question ses prédictions. Loin d'être objectives, les prédictions de PredPol peuvent servir à justifier et amplifier le racisme existant envers les communautés de couleur. Cela crée un cercle vicieux : plus l'IA encourage d'arrestations dans ces communautés, plus ces données alimentent les nouveaux jeux de données utilisés pour entraîner l'algorithme.
L'Union européenne expérimente ses propres programmes d'IA dans l'application de la loi, tels que des tests polygraphiques basés sur l'IA pour les voyageurs entrant dans l'UE ou des systèmes de détection des fraudes utilisant l'IA. Heureusement, la prise de conscience sur cette question grandit et les premières grandes villes ont commencé à interdire les technologies d'IA dans les forces de l'ordre. Mais que se passe-t-il lorsque la discrimination et le contrôle automatisé servent les intérêts d'un État ?À quoi ressemblerait une société où un État adopterait les problèmes d'une IA biaisée au lieu de les résoudre ?
Les gouvernements autoritaires ont toujours repoussé les limites de l'intelligence artificielle pour la surveillance et des usages contraires à l'éthique. De nombreuses avancées en IA permettent désormais d'étendre la surveillance en temps réel pour couvrir chaque trace numérique et physique. La surveillance ne se limite pas à la reconnaissance de l'identité d'une personne. Des programmes d'intelligence artificielle sont actuellement développés pour prédire la sexualité d'une cible, les maladies qu'elle pourrait avoir ou sa probabilité de commettre des activités criminelles, uniquement sur la base des traits du visage. Le Parti communiste chinois prévoit d'aller encore plus loin et d'utiliser des applications d'IA pour déterminer des conséquences dans le monde réel pour ceux qui ne respectent pas certaines règles. Les systèmes de crédit social attribuent automatiquement des points à chaque citoyen et octroient certains droits en fonction du score obtenu. Ces systèmes sont actuellement testés comme mécanismes d'incitation et de punition dans de nombreuses régions de Chine, et utilisés pour persécuter les minorités ethniques.
Empêcher l'utilisation abusive des données
Cet article a dressé un tableau sombre de l'IA. Mais tout espoir n'est pas perdu– et une partie essentielle du changement consiste à sensibiliser le public à l'existence (ou la possible existence future) de ces applications.
Pour éviter que des applications d'IA dangereuses ne prennent le contrôle de nos vies,toutes les composantes de la société doivent travailler ensemble. En tant qu'ingénieurs et technologues, nous devons être conscients des applications que nous développons et de la responsabilité que nous avons en les déployant dans le monde réel. Il est crucial d'envisager les échecs possibles, les questions éthiques et les lignes directrices sociales. Des recherches récentesont montré qu'il est possible de prévenir l'utilisation abusive des données. Les technologies décentralisées et nos propres projets de recherche, comme Kara, explorent des moyens de limiter automatiquement le développement d'applications d'IA sans le consentement des propriétaires des données. Des initiatives comme "Stop Killer Robots"plaident aux plus hauts niveaux politiques pour interdire les applications d'IA nuisibles et éduquent les décideurs. En tant que législateurs, il est essentiel de comprendre les limites des avancées technologiques actuelles et de concevoir des régulations favorisant un développement sûr de l'IA. En tant que dirigeants d'entreprise, nous devons veiller à ne pas succomber au battage médiatique sur des robots intelligents tout-puissants pour des profits à court terme.
L'IA n'est pas une solution miraclecapable de résoudre tous les problèmes du monde. C'est un outil qui peut proposer et amplifier des solutions innovantes,tout en exacerbant les problèmes existants.
Il reste beaucoup de travail à faire – et pas de temps pour avoir peur.
Liens sur le thème
Avril 2022