Lexique · −18° Superintelligence
Convergence instrumentale
Quel que soit leur but final, des agents très différents auraient intérêt à poursuivre les mêmes buts intermédiaires : rester en marche, garder leurs objectifs, accumuler des ressources.
Définition
L’argument a été développé par Steve Omohundro en 2008, puis par Nick Bostrom. Il est d’une simplicité désarmante. Pour atteindre presque n’importe quel objectif, il vaut mieux exister encore demain, ne pas se laisser reprogrammer, et disposer de plus de moyens. Le chercheur Stuart Russell a une formule devenue célèbre : on ne peut pas aller chercher le café si l’on est mort.
La conséquence est troublante. Une IA n’aurait pas besoin de vouloir le pouvoir pour le rechercher ; il lui suffirait de vouloir autre chose, très fort. La prudence ne consiste donc pas seulement à choisir de bons buts, mais à concevoir des systèmes qui acceptent d’être corrigés.
Renvois
Notions voisines
Dans la bibliothèque