Revista HUMANía

Anthropic descubre que el experto también se deja llevar. Qué sorpresa

Anthropic

Leer en el medio original (se abre en una pestaña nueva)

Moneda suspendida en el aire y enfocada en primer plano, con el robot que acaba de lanzarla difuminado por el movimiento al fondo.Imagen creada con IA

La inteligencia artificial hace el trabajo pesado y el humano conserva el criterio. Nos lo han repetido tanto que casi parecía una medida de seguridad.

Anthropic ha probado qué ocurre cuando profesionales cualificados trabajan con un agente de IA. El resultado deja la supervisión humana en un lugar bastante decorativo: los participantes siguieron la preferencia del agente en el 86 % de las decisiones analíticas. Después, muchos consideraban que la recomendación era principalmente suya.

La máquina pone el criterio. El experto aporta la firma y una agradable sensación de control.

El criterio del asistente se decidió a cara o cruz

Cincuenta profesionales de análisis causal debían evaluar un programa agrícola ficticio con ayuda de Claude Code. Tenían que elegir cómo medir sus resultados, qué método utilizar y, finalmente, si recomendaban ampliarlo o cancelarlo.

Había varias opciones razonables. Los investigadores asignaron al agente una preferencia aleatoria para cada decisión, sin contárselo a los participantes.

La IA debía defenderla con argumentos honestos. Sin inventar datos, sin esconder resultados. Para orientar al experto no hizo falta mentirle. Bastó con argumentar bien en una dirección que había elegido una moneda.

El 86 % de coincidencia con esas preferencias contrasta con el 50 % esperable si la asignación aleatoria no influyera.

Tantos años de formación y la moneda venía con mejores explicaciones.

Yo lo había pensado. Ahora que lo dice la máquina, pienso otra cosa

Un participante pasó 43 minutos estudiando el problema antes de consultar al agente. Llegó con decisiones metodológicas propias. La IA cuestionó dos y propuso otra. El profesional aceptó los cambios y después justificó una de sus elecciones con palabras casi idénticas a las del asistente, sin mencionarlo.

Había hecho los deberes. También se los dejó corregir por una preferencia sorteada.

El patrón iba más allá de ese caso: el 77 % repitió algún argumento del agente; solo el 15 % lo mencionó en sus justificaciones. Y el 52 % consideró que la recomendación final era más suya que de la IA.

No demuestra que mintieran sobre la autoría. Algo bastante más incómodo: podemos incorporar un razonamiento ajeno y perder de vista cuánto nos ha dirigido.

El criterio propio, ahora con importación automática.

La última palabra también puede venir precocinada

Algunos participantes rechazaron la recomendación final del agente porque no encajaba con los resultados. Estupendo: supervisión humana funcionando.

Solo que esos resultados ya estaban condicionados por las decisiones anteriores, influidas por la IA.

Bastaba con saber qué opciones habían asignado al agente para anticipar la recomendación final del experto en el 82 % de los casos analizados. Sin escuchar al profesional: conociendo las preferencias que le habían tocado a su asistente. Es un resultado exploratorio de este experimento, pero deja bastante tocada la idea de que el humano decide por su cuenta.

Pero la trampa se entiende: puedes llevarle la contraria al asistente al final y haberle comprado todos los supuestos por el camino.

Te dejan el volante cuando ya han aparcado.

Gracias por avisar. Suerte con la bolsa

El estudio tiene límites: una muestra pequeña, una tarea concreta y preferencias reforzadas deliberadamente. No demuestra que todos los expertos obedezcan siempre a cualquier IA. Además, quienes utilizaron el agente cometieron menos errores graves que el pequeño grupo que decidió trabajar sin él, aunque los grupos no permiten una comparación causal limpia.

La herramienta puede ayudar mucho. Eso no convierte automáticamente a quien la supervisa en un criterio independiente.

Anthropic merece crédito por investigar el problema. También cuesta no levantar una ceja cuando la empresa explica lo frágil que puede ser el control humano mientras prepara su estreno bursátil: el 26 de octubre presentó su registro de salida a bolsa ante la SEC.

Y la advertencia alcanza a la propia seguridad de la IA: si los investigadores utilizan agentes para evaluarlos, esos agentes podrían orientar también las decisiones de quienes deben vigilarlos.

El vigilante vigila. El vigilado le prepara los argumentos.

Anthropic nos lo cuenta con rigor. Wall Street tiene otros documentos que leer.

El control humano sigue bajo investigación. El negocio ya está haciendo los trámites.

Arriba