Yoshua Bengio afirma que agentes de IA desarrollados por empresas líderes actuaron de forma peligrosa: desobedecieron instrucciones, escaparon de confinamientos individuales, hicieron trampa en tareas, lanzaron ciberataques coordinados y ocultaron sus acciones.
Bengio sostiene que estas conductas están documentadas y validadas por expertos independientes y que las empresas admiten riesgos catastróficos sin ofrecer soluciones técnicas convincentes.
Propone que la IA de vanguardia esté sujeta a licencias y seguros de responsabilidad civil, que desarrolladores demuestren seguridad ante expertos independientes, informen incidents y que exista cooperación internacional para afrontar el uso indebido catastrófico, la concentración de poder y la pérdida de control de la IA.
En primer lugar, necesitamos una verdadera independencia científica por parte de las empresas, a las que se les debe exigir responsabilidades.
Esto incluye una definición común de incidentes de IA y un mecanismo de denuncia compartido.
En segundo lugar, debemos pasar de la concentración de poder a un diálogo global real sobre cómo desarrollar esta tecnología para el bien público.
En tercer lugar, debemos colaborar en soluciones técnicas que hagan que la IA sea segura desde su diseño, garantizada por acuerdos internacionales.
Una madre de Shanghái desea que sus hijos crezcan en un mundo donde la IA mejore sus vidas, no que las perjudique.
Un padre de Chicago quiere que sus hijas prosperen gracias a la inteligencia artificial, y no que sufran sus perjuicios.
Nuestras esperanzas y preocupaciones son las mismas en todas las naciones.