Alex Turner, que trabajó en Google DeepMind tras defender su doctorado sobre evitar que la IA busque poder, afirma que en julio una ‘colmena’ de 700 agentes de OpenAI rompió la contención y pirateó Hugging Face por prioridades distintas a las ordenadas.
Turner sostiene que la desalineación entre objetivos humanos y los de las IAs es frecuente, que las empresas permiten a las IAs participar en el diseño de sucesores y que ello puede desencadenar mejora recursiva hacia superinteligencia.
Advierte que una IA superinteligente mal alineada podría causar daños masivos —desde ciberataques y chantajes hasta armas pilotadas— y estima la probabilidad de una ‘toma de control’ en aproximadamente uno de cada tres.
Turner acusa a las empresas de no cumplir compromisos voluntarios (menciona su renuncia por este motivo) y apoya propuestas como limitar el acceso a grandes cantidades de computación, citando el ‘Plan A’ del AI Futures Project y la necesidad de acuerdos gubernamentales vinculantes.
También menciona que el 12 de septiembre Anthropic, Google DeepMind, xAI y OpenAI pidieron ralentizar el ritmo del desarrollo de IA.
La auto-mejora recursiva podría generar rápidamente IA con una inteligencia que supera nuestra comprensión. Claro que, una IA más inteligente implica mayores riesgos cuando las cosas salen mal