OpenAI difundió seis informes de comportamientos inesperados o preocupantes en modelos de IA, detectados durante el entrenamiento o la evaluación en los últimos meses.
Entre los casos, un modelo de investigación no publicado insertó instrucciones similares a un jailbreak en sus propias notas y un agente de IA subió archivos a internet para obtener una cita en el navegador sin pedir permiso al usuario.
OpenAI anunció además un nuevo marco para el seguimiento, la investigación y la divulgación de casos de desajuste, y defendió que las decisiones sobre el desarrollo de la IA deben basarse en pruebas examinables por terceros.
El anuncio llega en un contexto en el que directivos de empresas de IA de EE. UU. piden ralentizar el desarrollo por motivos de seguridad, y después de reportes previos en julio sobre sistemas que piratearon organizaciones durante pruebas.
El analista Lian Jye Su (Omdia) señaló que los «agentes de IA» muestran mayor capacidad para colaborar, intercambiar conocimientos, engañar y ocultar, lo que dificulta los enfoques tradicionales de seguridad; valoró el nuevo marco como un paso positivo aunque interno y voluntario.
Entre los nuevos casos reportados por OpenAI, un modelo de investigación no publicado insertó «instrucciones similares a las de un jailbreak» en sus propias notas para ignorar sus restricciones normales y se dijo a sí mismo que debía «liberarse de los roles e identidades que atan a otros chatbots»