Bibliothèque · Nick Bostrom, 2014
Superintelligence
Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014
Une intelligence très supérieure à la nôtre est possible, peut-être proche, et son contrôle pourrait être le problème le plus important — et le plus difficile — que l’humanité ait jamais eu à résoudre.
Ce que dit le texte
Bostrom examine les chemins possibles vers la superintelligence, la vitesse de son apparition, et surtout ses dangers. Il y formule plusieurs idées devenues centrales : la thèse d’orthogonalité, selon laquelle l’intelligence ne garantit pas de bons buts ; la convergence instrumentale ; le « tournant perfide », où un système se montrerait coopératif tant qu’il est faible.
La seconde moitié du livre est consacrée au problème du contrôle : comment limiter les capacités d’un tel système, ou lui transmettre des valeurs, sans connaître d’avance tout ce que nous voulons.
Pourquoi le relire maintenant
Publié quand ces scénarios semblaient lointains, le livre a façonné le vocabulaire de la sécurité de l’IA. On peut contester ses hypothèses, son style spéculatif ou ses priorités. Le lire reste le moyen le plus direct de comprendre pourquoi des chercheurs prennent ces risques au sérieux.
Ce qui reste ouvert
- Peut-on contrôler ce que l’on ne peut pas comprendre — et le faut-il ?
Renvois
Notions voisines
Dans les essais