Army of None

Le mot « autonome » traîne un imaginaire de robots tueurs à la Terminator, et Scharre passe une bonne partie du livre à le désamorcer. L'autonomie, en réalité, n'est pas un interrupteur mais un curseur. La plupart des armes modernes sont déjà semi-autonomes : elles font des tas de choses toutes seules — voler, naviguer, verrouiller une cible — mais un humain reste dans la boucle pour dire oui. Un missile qui corrige sa trajectoire n'est pas la même chose qu'un missile qui décide, seul, qui mérite d'être frappé.

Scharre distingue trois configurations. L'humain « dans la boucle » : la machine propose, l'humain dispose, rien ne part sans son accord. L'humain « sur la boucle » : la machine agit seule mais l'humain surveille et peut interrompre à tout instant. Et l'humain « hors de la boucle » : une fois lancée, l'arme cherche, choisit et engage ses cibles sans qu'aucun humain ne puisse plus intervenir. C'est cette dernière catégorie, l'arme létale pleinement autonome, qui n'existe presque pas encore — et qui concentre toute l'angoisse.

Scharre refuse le confort d'un camp. Il expose les deux versants avec une honnêteté qui rend le livre inconfortable, parce qu'aucun ne s'effondre facilement. Du côté de ceux qui militent pour l'interdiction, la campagne « Stop Killer Robots » et une partie de la communauté scientifique — dont des figures comme Stuart Russell — avancent un argument de dignité : déléguer à une machine la décision de tuer, c'est franchir un seuil moral qu'aucun gain militaire ne justifie. Une personne réduite à un point de données traité par un algorithme, c'est une déshumanisation en soi, indépendamment du résultat.

À cet argument s'ajoute celui de la responsabilité. Si une arme autonome commet un massacre, qui répond ? Le programmeur qui a écrit le code des années plus tôt ? Le commandant qui l'a déployée sans savoir exactement comment elle déciderait ? Le fabricant ? Le droit de la guerre suppose un responsable humain identifiable ; une machine qui tue seule crée un trou dans la chaîne de responsabilité, une zone où personne n'est vraiment coupable.

Le fil que Scharre finit par tirer dépasse largement l'armement. Ce qu'on décide pour les armes autonomes, on est déjà en train de le décider, en plus discret, partout ailleurs. On confie à des algorithmes le tri des candidatures, l'attribution des crédits, l'orientation des diagnostics médicaux, le calcul des peines dans certains tribunaux américains. À chaque fois se rejoue la même question : jusqu'où laisse-t-on une machine trancher une décision qui engage une vie, et à quel moment un humain doit-il reprendre la main ?

Le problème n'est pas seulement que les machines se trompent. C'est qu'elles se trompent autrement que nous, et que leur assurance nous désarme. Un système qui affiche une réponse avec certitude pousse l'humain à s'effacer, surtout sous pression. C'est le piège du Vincennes rejoué à l'infini : la « complaisance d'automation », cette tendance à faire confiance à l'écran plutôt qu'à son propre jugement. Plus la machine paraît compétente, moins on ose la contredire — et c'est justement là qu'on devrait le plus.

Scharre ne referme pas son livre sur une interdiction ni sur un feu vert. Il refuse les deux facilités. Ce qu'il défend, c'est une ligne de crête : garder l'humain là où sa présence change quelque chose, sans céder à l'illusion qu'il faille tout lui faire décider, ni à la tentation de l'effacer parce qu'il est lent. Entre la machine qui tue seule et le soldat qui hésite devant une enfant éclaireur, il y a un espace étroit à défendre — celui où quelqu'un comprend, juge, et peut encore refuser.