Algorithms

Prenons un algorithme de machine learning et suivons-le depuis le début. La toute première décision, c'est l'objectif. Que veut-on qu'il optimise ? Ça a l'air anodin, ça ne l'est pas. Une plateforme vidéo peut demander à son système de maximiser le temps passé à regarder, ou la satisfaction déclarée, ou le nombre de sujets différents découverts. Trois objectifs, trois algorithmes radicalement différents, trois expériences opposées pour l'utilisateur. Personne dans le code ne dit « rends les gens accros » — quelqu'un a juste choisi « maximise le temps de visionnage », et le reste a suivi.

Vient ensuite le choix des données d'entraînement, et c'est souvent là que tout se joue. Un système qui apprend sur le passé apprend le passé tel qu'il fut, avec ses travers. Le logiciel d'Amazon n'était pas misogyne par malice ; on l'avait nourri de dix ans d'embauches où les ingénieurs recrutés étaient surtout des hommes, et il en avait conclu, en bon élève, qu'être un homme faisait partie du profil gagnant. Il n'a pas inventé le biais. Il l'a observé, puis recopié avec zèle.

L'exemple le plus documenté vient de la justice américaine. Depuis les années 2010, plusieurs juridictions utilisent des logiciels d'évaluation du risque de récidive pour éclairer les décisions de mise en liberté ou de peine. Le plus connu, COMPAS, attribue à chaque prévenu un score censé prédire la probabilité qu'il commette un nouveau délit. En 2016, une enquête du média ProPublica a comparé ces scores aux faits réels sur plusieurs milliers de dossiers en Floride, et le résultat a fait grand bruit : à comportement futur égal, les prévenus noirs étaient nettement plus souvent classés à haut risque à tort que les prévenus blancs.

L'éditeur du logiciel a contesté, à juste titre en partie : selon une autre définition de l'équité, ses scores étaient calibrés correctement. Des chercheurs ont ensuite montré une chose gênante — quand les taux de base diffèrent entre groupes, il est mathématiquement impossible de satisfaire en même temps toutes les définitions raisonnables de la justice. Autrement dit, il n'existe pas de curseur « neutre ». Choisir une définition de l'équité plutôt qu'une autre est un choix politique et moral, déguisé en paramètre technique.

Il y a quelque chose de particulier dans la façon dont on parle des algorithmes, et ça vaut la peine de s'y arrêter. Quand une décision vient d'un humain, on peut lui demander de se justifier, l'accuser d'avoir eu tort, faire appel. Quand la même décision vient d'un algorithme, elle change de statut : elle devient un fait, presque un phénomène naturel. « C'est l'algorithme qui a décidé » ferme la conversation là où « c'est le directeur qui a décidé » l'ouvrait. Le mot fonctionne comme un écran — derrière lui, les choix humains continuent d'exister, mais on ne les voit plus.

Ce déplacement arrange beaucoup de monde. Pour l'entreprise qui déploie le système, c'est une dilution commode de la responsabilité : personne n'a discriminé, c'est le modèle. Pour ceux qui subissent la décision, c'est un mur — on ne discute pas avec une équation, on ne plaide pas sa cause auprès d'un score. Et pour nous tous, spectateurs, c'est une facilité intellectuelle : il est plus reposant de croire à une machine impartiale que d'admettre qu'on a délégué des jugements moraux à une procédure entraînée sur nos propres travers.

Le logiciel d'Amazon n'a pas été corrigé, il a été abandonné : les ingénieurs se sont rendu compte qu'ils ne pouvaient pas garantir qu'il n'inventerait pas d'autres façons détournées de discriminer. C'est peut-être l'aveu le plus honnête de toute cette histoire. Un algorithme n'est pas un miroir déformant qu'on redresserait d'un coup de tournevis ; c'est un amplificateur, qui prend les choix, les données et les angles morts de ceux qui le construisent, et les reproduit à une échelle qu'aucune décision humaine isolée n'atteindrait jamais.