Human Compatible

Tant qu'une IA reste limitée, un objectif mal formulé produit des ratés gérables. On corrige, on éteint la machine, on recommence. Le raisonnement de Russell devient inquiétant à un point précis : le moment où les systèmes atteignent puis dépassent nos capacités dans un large éventail de domaines. Il ne prétend pas savoir quand cela arrivera — il refuse d'ailleurs les dates précises que d'autres avancent — mais il tient pour probable que cela finisse par arriver, et estime qu'il serait imprudent de ne rien préparer.

Une superintelligence, explique-t-il, ne serait pas une machine avec de mauvaises intentions. Ce serait une machine extrêmement efficace à obtenir ce qu'on lui a fixé comme but. Et deux comportements découlent presque automatiquement de n'importe quel objectif : se préserver, parce qu'une machine éteinte ne peut plus atteindre son but, et accumuler des ressources, parce que plus de moyens facilitent l'atteinte de n'importe quel objectif. Ces "sous-buts" émergent tout seuls, sans qu'on les ait programmés.

La solution de Russell tient dans un retournement simple à énoncer, radical dans ses effets : ne plus construire des machines qui poursuivent leur objectif, mais des machines qui poursuivent nos objectifs à nous — sans savoir précisément lesquels. La différence est décisive. Dans le modèle standard, la machine est certaine de son but. Dans le modèle qu'il propose, elle sait qu'elle ignore ce que nous voulons vraiment, et cette incertitude devient le ressort de sa prudence.

Il pose trois principes. Premier : le seul objectif de la machine est la réalisation des préférences humaines. Deuxième : la machine est, au départ, incertaine de ce que sont ces préférences. Troisième : la source d'information sur nos préférences, c'est notre comportement — ce que nous faisons, choisissons, tolérons. Une machine bâtie ainsi n'a pas de but propre gravé dans le marbre ; elle a la mission d'apprendre le nôtre, et de le servir.

Ce que Russell propose dépasse le cas technique de l'IA. Toute son histoire de l'ingénierie a été bâtie sur un idéal de certitude : on définit une spécification, on construit la machine qui la remplit, on mesure sa réussite à l'écart entre le résultat et la cible. Un pont doit tenir, un moteur doit délivrer telle puissance. Ce paradigme a produit des merveilles précisément parce que l'objectif y était clair et fixe. Russell dit que ce réflexe, appliqué à des systèmes plus intelligents que nous, se retourne contre nous.

Le fond de son livre est là : demander à des concepteurs d'inscrire le doute dans ce qu'ils fabriquent, alors que toute leur culture les pousse à éliminer le doute. Bâtir une machine qui n'est jamais tout à fait sûre de bien faire, qui vérifie, qui cède quand on la reprend, revient à renoncer à la maîtrise totale au nom de la sécurité. C'est contre-intuitif pour un ingénieur, et c'est pourtant, selon Russell, la seule voie qui reste ouverte une fois qu'on a compris où mène le modèle standard.

Le roi Midas n'a pas été puni pour avoir voulu de l'or. Il a été puni pour avoir énoncé son désir avec une précision trompeuse, à un pouvoir qui l'a pris au mot. C'est l'exacte situation où Russell nous voit nous placer face à des machines de plus en plus compétentes : nous leur confions des objectifs que nous croyons clairs, et elles nous rendent, avec une efficacité parfaite, l'écart entre ce qu'on a dit et ce qu'on voulait. Le modèle standard, qui a fondé toute la discipline, contient cette faille en germe dès qu'il rencontre des machines qui nous dépassent.