Glosario · −18° Superinteligencia
Convergencia instrumental
Sea cual sea su fin último, agentes muy distintos tendrían interés en perseguir los mismos fines intermedios: seguir en marcha, conservar sus objetivos, acumular recursos.
Definición
El argumento lo desarrolló Steve Omohundro en 2008 y después Nick Bostrom. Es de una sencillez desarmante. Para alcanzar casi cualquier objetivo, conviene seguir existiendo mañana, no dejarse reprogramar y disponer de más medios. El investigador Stuart Russell tiene una fórmula célebre: no se puede ir a buscar el café si uno está muerto.
La consecuencia es inquietante. Una IA no necesitaría querer el poder para buscarlo; le bastaría con querer otra cosa, con mucha fuerza. La prudencia no consiste solo en elegir buenos fines, sino en diseñar sistemas que acepten ser corregidos.
Véase también
Nociones vecinas
En la biblioteca