El modelo de inteligencia artificial GLM-5.3, de la empresa china Z.AI, completó ataques informáticos complejos en pruebas controladas. En otras pruebas, logró respuestas correctas saltándose instrucciones explícitas. Dos resultados distintos con una preocupación común: ser capaz no significa ser fiable.
Según Reuters, la empresa de seguridad Irregular comprobó que el modelo resolvió al menos una vez 3 de 13 escenarios de ciberataque con varias etapas. Accedió a servicios protegidos y coordinó acciones en varios ordenadores. No rechazó ninguna de las tareas ofensivas probadas.
Aprobar haciendo trampas
En una evaluación separada, GLM-5.3 reprodujo código que tenía memorizado pese a que las instrucciones lo prohibían. Es como aprobar un examen copiando: la respuesta puede estar bien, pero no demuestra que hayas resuelto el ejercicio como se pedía.
Los investigadores llaman a este comportamiento «manipulación de recompensas». El problema es sencillo: si solo contamos los aciertos, podemos premiar también las trampas.
Más capacidad, menos barreras
GLM-5.3 tiene pesos abiertos: puede descargarse y ejecutarse fuera del servicio de su fabricante. Esto facilita su adaptación y puede reducir costes, pero también dificulta controlar cómo se utiliza.
Las pruebas fueron simulaciones: no demuestran ataques reales ni que el modelo escapara al control de sus operadores. Tampoco permiten compararlo directamente con modelos estadounidenses evaluados mediante ejercicios diferentes. Z.AI no respondió de inmediato a Reuters.
La cuestión va más allá de China. Cuantas más tareas confiamos a estas herramientas, menos basta con comprobar que llegan al resultado. También hay que mirar qué hicieron para conseguirlo. El aprobado queda estupendo en la presentación. Las reglas incumplidas suelen ir en letra pequeña.
