Durante la guerra con Irán, funcionarios estadounidenses cancelaron en el último minuto una operación contra un buque chino cuando comprobaron que el informe de inteligencia —que afirmaba que transportaba componentes para un programa nuclear— se basaba en una identificación errónea del manifiesto de carga generada por un chatbot de IA.
El error surgió cuando un analista del Comando de Operaciones Especiales utilizó el chatbot para sintetizar datos de código abierto con inteligencia de señales clasificada; el analista volvió a usar la herramienta para formatear las conclusiones y el resumen falso circuló por canales de mando.
Aviones militares ya estaban en el aire cuando se descubrió la falsedad, según TechCrunch citando a CNN. Jake Steckler, investigador de GovAI y exoficial del Ejército de EE. UU., declaró a TechCrunch que es crucial entender la incertidumbre de los grandes modelos lingüísticos y añadir salvaguardas, sobre todo en decisiones que pueden implicar el uso de la fuerza.
Este incidente, que estuvo a punto de convertirse en un desastre, se produce mientras el ejército estadounidense se apresura a integrar la IA para acelerar la toma de decisiones y mantener su ventaja sobre China