Gouvernance algorithmique
La surveillance totale

Des algorithmes qui récompensent ou pénalisent les citoyens d’un pays sur la base de données collectées - dans des pays comme la Chine et l’Inde, la « gouvernance algorithmique » est depuis longtemps une réalité. En Allemagne, les logiciels prennent également des décisions qui ont des conséquences sur la vie de nombreuses personnes.

De Arne Cypionka

Dans la mégalopole chinoise de Xiangyang, l’intersection au sud du pont Changhong est encombrée, c’est le chaos total. Dans une cacophonie de klaxons de voiture, les piétons traversent la route au feu rouge et les scooters électriques se faufilent dans les embouteillages. Sur le bord de la route, un grand écran avec de nombreuses photographies de portraits. Un panneau d’affichage de plus ? Non, celui-ci a été mis en place par la police en 2017 pour maintenir l’ordre. Les visages affichés sont ceux des personnes qui ont enfreint le code de la route et ont été identifiées par des caméras équipées d’un logiciel de reconnaissance faciale automatique. L’idée est de « mettre les contrevenants dans l’embarras devant leurs voisins ou leurs collègues », a déclaré une porte-parole de la ville au New York Times. À côté des photos de ceux qui ont été soumis à la censure figurent leurs noms et leurs numéros de carte d’identité. L’objectif est de leur donner une leçon. 
 
Des écrans comme celui de Xiangyang ne sont qu’une petite partie du système de surveillance et de contrôle du gouvernement chinois. Ces dernières années, le Parti communiste a lancé des projets pilotes dans un certain nombre de villes pour son nouveau système de crédit social. Les données sont collectées auprès des caméras de vidéosurveillance, des chats privés, des achats en ligne et de nombreuses autres sources, puis « structurées ». L’objectif est d’inscrire tous les résidents du pays dans un système d’évaluation unique d’ici 2020. Dans un processus nécessitant une puissance de calcul massive, le système attribuera en fin de compte un « score » spécifique à chaque Chinois et maintiendra ce score à jour en utilisant des algorithmes. Le gouvernement autoritaire chinois considère le système comme une étape évidente, lui permettant de contrôler chacun des 1,4 milliard d’habitants qui composent la population chinoise.

CONTRÔLE ET PUNITION PAR ALGORITHME

La gouvernance algorithmique est le terme utilisé lorsque les gouvernements ou les autorités utilisent les énormes quantités de données provenant des médias sociaux et d’autres plateformes et laissent les machines décider sur la base de ces données si un citoyen doit être récompensé ou pénalisé. Les ordinateurs reconnaissent les habitudes de chacun et appliquent automatiquement des mesures disciplinaires : quiconque rend un vélo de location intact, attend le feu vert avant de traverser la route et se présente au travail à l’heure est récompensé par des points. Mais quelqu’un qui exprime des critiques à l’égard de la politique chinoise en ligne ou qui a des contacts fréquents avec des gens mal notés verra son évaluation personnelle diminuer régulièrement. Cela a des conséquences dramatiques : des personnes avec un faible score se voient refuser l’accès à certains vols ou trains à grande vitesse, par exemple, ou leurs enfants se voient interdire l’accès aux écoles privées.

Surveiller la population d’un pays de la sorte, recueillir tous les renseignements personnels et les utiliser contre elle n’est pas seulement une atteinte à la vie privée, c’est aussi une restriction importante des libertés individuelles. Cependant, les autorités chinoises ne sont pas les seules à analyser les données personnelles, l’Inde tente également de mettre en place un système d’enregistrement personnel pour avoir une vue d’ensemble de la population.
 
Une base de données a été créée sous le nom d’Aadhaar (« Fondation »). Elle comprend aujourd’hui 1,2 milliard d’utilisateurs – soit la majorité de la population indienne. Un numéro à douze chiffres lié au nom de l’utilisateur, à son âge, à un jeu complet d’empreintes digitales et à une image scannée de l’iris permet au système d’identifier chaque individu sans équivoque, établissant, par exemple, son droit aux prestations sociales. C’est du moins la théorie. Au début de l’année, la journaliste indienne Rachna Khaira a souligné les faiblesses du système. Elle a contacté des pirates informatiques qui, pour seulement 500 roupies (environ six euros) lui ont donné accès à la base de données complète. En fait, la base de données Aadhaar, qui vise à prévenir la distribution inéquitable et la fraude dans les opérations d’aide alimentaire, s’avère de plus en plus un problème en soi. On rapporte que des gens meurent de faim parce qu’ils ne peuvent pas produire de documents ou parce que le contrôle biométrique ne fonctionne pas. Et des fuites ont été constatées, entraînant la divulgation publique de millions d’ensembles de données.

IL EST TEMPS D’OUVRIR UN DÉBAT SUR LES DONNÉES EN EUROPE

En Europe aussi, des algorithmes sont couramment utilisés pour analyser les données. Mais contrairement aux expériences risquées en cours dans les deux pays les plus peuplés du monde (la Chine et l’Inde) la collecte massive de données personnelles en Europe n’est pas nécessairement le fait des acteurs étatiques. En Allemagne, par exemple, l’institut de crédits SCHUFA affirme avoir 864 millions de données enregistrées pour plus de 67 millions de personnes et 5 millions d’entreprises. Ce que l’on ne sait pas, c’est comment fonctionne exactement le processus d’évaluation – un processus qui peut décider si une personne peut louer un appartement ou si un contrat de téléphonie mobile lui est accordé. Même les critères appliqués par la SCHUFA sont un mystère. Plusieurs éléments indiquent, par exemple, que les femmes sont nettement désavantagées.
 
L’Allemagne est loin de dénoncer sur des écrans les contrevenants au code de la route, Dieu merci. Mais une question se pose : dans quelle mesure des entreprises comme la SCHUFA ou des organismes gouvernementaux sont-ils autorisés à recueillir et à utiliser des données ? Le moment est venu de discuter de la légitimité de la gouvernance algorithmique. En fin de compte, la question est de savoir si nous voulons donner aux machines le contrôle de la société. Correctement configurés, les algorithmes pourraient être efficaces, rapides et équitables pour les décideurs. Mais au vu de leur utilisation actuelle, les avantages qu’ils offrent ne semblent pas contrebalancer le potentiel massif d’abus, l’atteinte à la vie privée et le manque de transparence des processus.