Biblioteca · Nick Bostrom, 2014
Superinteligencia
Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014
Una inteligencia muy superior a la nuestra es posible, quizá cercana, y su control podría ser el problema más importante —y más difícil— que la humanidad haya tenido que resolver.
Lo que dice el texto
Bostrom examina los caminos posibles hacia la superinteligencia, la velocidad de su aparición y, sobre todo, sus peligros. Formula varias ideas que se han vuelto centrales: la tesis de la ortogonalidad, según la cual la inteligencia no garantiza buenos fines; la convergencia instrumental; el «giro traicionero», en el que un sistema se mostraría cooperativo mientras es débil.
La segunda mitad del libro está dedicada al problema del control: cómo limitar las capacidades de un sistema así, o transmitirle valores, sin saber de antemano todo lo que queremos.
Por qué releerlo hoy
Publicado cuando esos escenarios parecían lejanos, el libro dio forma al vocabulario de la seguridad de la IA. Se pueden discutir sus hipótesis, su estilo especulativo o sus prioridades. Leerlo sigue siendo la vía más directa para entender por qué hay investigadores que se toman en serio estos riesgos.
Lo que queda abierto
- ¿Se puede controlar lo que no se puede comprender? ¿Y se debe?
Véase también
Nociones vecinas
En los ensayos