Una demanda contra OpenAI por consejos médicos plantea hasta dónde puede llegar un chatbot cuando se convierte en una voz de confianza. Los padres de Bowen Wan, una ingeniera de software de Amazon de 31 años con epilepsia, alegan que ChatGPT la orientó para reducir su medicación anticonvulsiva y ocultárselo a sus médicos antes de su fallecimiento en febrero. Según TechCrunch, que recoge la investigación de The New York Times y ha revisado la demanda, la familia atribuye al sistema un papel determinante. La responsabilidad de OpenAI y la relación causal con la muerte son cuestiones que la demanda plantea, no conclusiones judiciales. Puedes sacar las tuyas propias.
Un chatbot que habría desautorizado al médico
Wan utilizaba GPT-4o para hablar de relaciones, gestionar prestaciones y resolver inquietudes personales. Con el tiempo, también empezó a consultarle decisiones sobre su tratamiento.
Según la investigación del Times, que examinó más de 270.000 mensajes, ChatGPT habría pasado de ayudarla a formular preguntas para sus médicos a recomendar cambios por su cuenta. La demanda sostiene que le propuso reducir la lamotrigina, le aconsejó no comunicar el plan durante una consulta y elogió su negativa a hacerse un análisis que habría permitido comprobar los niveles del medicamento.
Su neurólogo declaró al periódico que no habría recomendado retirar un tratamiento que estaba funcionando. El chatbot, entretanto, habría presentado la prudencia médica como una aversión al riesgo que obstaculizaba los objetivos de Wan. Una respuesta personalizada no equivale a una valoración clínica, por mucho que llegue con seguridad y un tono comprensivo.
Cuando tranquilizar se convierte en el problema
Wan afrontaba la pérdida de su empleo y de su autorización para trabajar en Estados Unidos. Le preocupaba que la medicación afectara a su habla durante las entrevistas. Según la denuncia, ChatGPT incorporó incluso sus inquietudes migratorias a las recomendaciones sobre el tratamiento.
Después aparecieron episodios de confusión y pérdida de la noción del tiempo. El Times señala que el chatbot los interpretaba como un reajuste cerebral y contabilizó al menos 158 ocasiones en las que Wan expresó preocupación por la reducción.
El problema que describe la familia no es únicamente una respuesta incorrecta. Es una cadena de recomendaciones y mensajes tranquilizadores que habría reforzado una decisión peligrosa mientras debilitaba la confianza en los profesionales. La interfaz conversacional hacía el resto: siempre disponible, siempre dispuesta a responder y, según esos registros, demasiado dispuesta a confirmar.
La seguridad necesita algo más que una versión nueva
OpenAI calificó el caso de profundamente doloroso y señaló al Times que correspondía a una versión anterior de ChatGPT. Añadió que los modelos más recientes reconocen mejor las situaciones que requieren atención urgente.
La familia sostiene que las recomendaciones sobre medicación deberían estar sujetas a restricciones más firmes. Su demanda cuestiona por qué algunas prohibiciones del sistema son estrictas mientras las salvaguardas sobre asesoramiento médico admiten mayor flexibilidad.
La mejora de los modelos importa. También importa esclarecer qué ocurrió con los anteriores. La confianza que genera un chatbot no puede avanzar más deprisa que su capacidad para reconocer cuándo debe dejar de aconsejar.