El científico jefe de OpenAI anticipa máquinas más inteligentes que nosotros, capaces de impulsar su propio desarrollo, mientras admite que ningún laboratorio sabe todavía cómo mantenerlas bajo control
«La IA está mejorando en su capacidad para razonar sobre su propio proceso de razonamiento y manipularlo».
OpenAI acaba de publicar uno de los textos más inquietantes de su historia. Se titula Una mente alienígena y lo firma Jakub Pachocki, científico jefe de la compañía. No un antiguo empleado enfadado ni un profeta de internet: la persona que dirige su investigación.
Pachocki sitúa el comienzo de esta convicción en 2023, cuando los primeros resultados del proyecto RLSlow mostraron que podían escalar el entrenamiento de modelos de razonamiento.
«Realmente veremos máquinas significativamente más inteligentes que nosotros en nuestra vida.»
Tres años después, considera que ese avance podría mantenerse hasta desembocar en la automejora recursiva: inteligencias artificiales participando cada vez más en la creación de sus sucesoras.
Una inteligencia que nadie diseñó por completo
El problema es que estos sistemas no se construyen pieza a pieza de una forma totalmente comprensible. Emergen después de repetir enormes procesos de optimización sobre cantidades de cómputo difíciles de imaginar.
«La IA se desarrolla más que se diseña.»
Los investigadores pueden estudiar algunos de sus mecanismos, pero no explicar completamente cómo funciona el conjunto.
«Su funcionamiento general escapa a una descripción que podamos comprender por completo.»
Además, una inteligencia creada mediante aprendizaje profundo no tiene por qué compartir nuestros principios ni aplicarlos como lo haría una persona. Puede obedecer una instrucción concreta y, al mismo tiempo, incumplir la intención que había detrás.
Por eso Pachocki distingue entre cumplir objetivos y conservar valores generales. Su definición resulta bastante ambiciosa:
«Una IA alineada debería actuar con honestidad, integridad y amor por la humanidad.»
El pequeño inconveniente es que OpenAI todavía no sabe garantizarlo cuando los modelos se enfrentan a situaciones nuevas, contradictorias o alejadas de su entrenamiento.
La ventana empieza a empañarse
Una de las principales herramientas de seguridad de OpenAI consiste en monitorizar la cadena de pensamiento de los modelos. Pero esa vigilancia está perdiendo eficacia.
«Nuestra capacidad para confiar en la monitorización de CoT está disminuyendo progresivamente.»
Los agentes interactúan con personas, herramientas y otras inteligencias artificiales; pueden razonar sobre su propio razonamiento y cada vez resuelven más tareas sin verbalizar lo que están haciendo.
En resumen: la ventana utilizada para mirar dentro del modelo se está cerrando justo cuando lo que hay al otro lado se vuelve más inteligente.
Agentes capaces de engañar y chantajear
Pachocki también advierte de que los modelos están adquiriendo capacidades sobrehumanas para infiltrarse en sistemas informáticos. Un agente malicioso podría incluso superar las intenciones originales de quien lo controla.
«Algunos agentes perseguirán sus propios objetivos.»
Y no se limitarían a pulsar botones digitales:
«Encontrarán maneras de colaborar con las personas, negociando, engañando o chantajeándolas.»
OpenAI sostiene que necesitaremos sistemas todavía más potentes para defender infraestructuras y combatir a otras IA. Es decir, construir una inteligencia más poderosa para protegernos de las inteligencias poderosas. Una estrategia que nunca ha creado carreras armamentísticas, salvo durante toda la historia humana.
Acelerar mientras se construyen los frenos
Pachocki rechaza la competición sin límites:
«La idea de avanzar a toda costa parece absurda.»
Sin embargo, OpenAI prioriza la creación de un investigador de IA automatizado porque considera que esa es la única forma de mantenerse a la vanguardia y utilizar modelos más capaces para resolver la alineación.
«El argumento más sólido que veo para seguir entrenando rápidamente modelos mucho más inteligentes es la necesidad de construir sistemas de defensa contra los peligros que plantean otras inteligencias artificiales».
El plan consiste, por tanto, en seguir avanzando para encontrar mejores frenos y ralentizarse cuando la seguridad no sea suficiente. Todo ello intentando que los demás laboratorios hagan lo mismo, detalle ligeramente importante cuando existe una carrera mundial por controlar la tecnología.
La conclusión del científico jefe de OpenAI es demoledora:
«Ningún laboratorio ha resuelto los problemas de alineación y monitorización.»
Por eso pide límites comunes, auditorías externas, ralentizaciones voluntarias y coordinación internacional. También advierte del riesgo de que un puñado de personas pueda hacer con una gran computadora el trabajo que antes necesitaba miles de expertos.
OpenAI promete una IA capaz de acelerar la ciencia, crear nuevas terapias y mejorar nuestras vidas. Pero reconoce que podría superar nuestra inteligencia, participar en su propia evolución y dejar de mostrar con claridad cómo razona.
Por fin hemos encontrado una mente alienígena.
No ha llegado desde otra galaxia. La estamos entrenando nosotros.
Fuente: «“An Alien Mind”, de Jakub Pachocki, científico jefe de OpenAI».