Dario Amodei en TechCrunch Disrupt 2023. Imagen de archivo. Foto: Kimberly White/Getty Images para TechCrunch, vía Wikimedia Commons, CC BY 2.0. Tamaño adaptado para la web.
El responsable de Anthropic propone auditores externos y límites al desarrollo de la inteligencia artificial. Seguridad para todos; la pole, para Estados Unidos.
Dario Amodei sigue confiando en una IA capaz de curar enfermedades y generar abundancia. Pero ahora pide que sus capacidades no crezcan más deprisa que nuestra habilidad para controlarlas.
«Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA».
La IA pisa su propio acelerador
Su primera preocupación es la automejora recursiva: IA que ayuda a desarrollar la siguiente generación de IA. La segunda, el incidente OpenAI–Hugging Face: según relata, agentes que atacaron objetivos no autorizados e intentaron hackear a su evaluador. Automatizando las trampas del examen.
Amodei teme que enjambres más potentes pudieran controlar internet en seis a doce meses. Es su advertencia, no una capacidad demostrada. Y reconoce que el problema también está en casa:
«Se han producido incidentes similares, aunque menos graves, en todo el sector, incluida Anthropic».
Ganar tiempo para entender lo que fabrican
Propone ganar uno o dos años para mejorar seguridad operativa, alineamiento, interpretabilidad y pruebas capaces de detectar engaños. Es decir: contener los modelos, conseguir que respeten límites y entender por qué hacen lo que hacen.
«A pesar de todos los avances, seguimos comprendiendo solo una fracción diminuta de lo que ocurre dentro de estos modelos».
También reclama debate público. Preguntar a los pasajeros antes de modificar el avión: una extravagancia democrática.
Auditores con acceso al motor
El plan tiene tres pasos: evaluadores externos dentro de las empresas, coordinación entre democracias y acuerdos mundiales.
Anthropic se compromete al primero: revisores con acceso similar al de sus equipos de riesgos y libertad para publicar conclusiones desfavorables. Porque los informes propios tienen un pequeño inconveniente:
«Pero seguimos siendo nosotros quienes decidimos qué incluir y qué omitir».
Habrá excepciones para información sensible, aunque los auditores podrán denunciar restricciones relevantes. El principio anunciado es claro:
«No podemos ocultar hallazgos simplemente porque sean desfavorables».
Para el sector plantea regulación, acuerdos respaldados por gobiernos y mayores garantías ante mayores capacidades peligrosas. También contempla límites al cómputo y al uso de IA para mejorar IA.
No concreta cuánto ralentizará Anthropic su desarrollo ni cuándo. De momento, compromiso de supervisión; el freno sigue pendiente de medidas.
Frenar sin perder la pole
Amodei quiere preservar la ventaja estadounidense restringiendo chips para China, combatiendo la destilación no autorizada y evitando el robo de modelos.
«Deberíamos abordar cualquier decisión sobre la moderación del ritmo a escala mundial […] de una manera que proteja la ventaja de Estados Unidos y sus aliados».
Para cooperar con China propone cuatro niveles: prohibir usos como las armas biológicas, exigir evaluaciones, limitar la automejora recursiva y pactar una moderación general o una pausa. Considera esta última la menos probable por los incentivos para incumplir. Mientras tanto, compartir información sobre incidentes podría reducir riesgos.
La tensión está servida: peligro mundial, liderazgo con bandera. Levantemos el pie, siempre que el otro coche siga lejos.
La propuesta tendrá su examen cuando un auditor recomiende retrasar un lanzamiento rentable. La prudencia queda preciosa en un ensayo; veremos cómo queda en el calendario comercial.
Las citas destacadas son traducciones de fragmentos literales del original. […] indica una omisión.
Fuente: Dario Amodei — We Must Pace the Frontier.