Un nuevo estudio ha puesto de relieve las inconsistencias de las respuestas de los chatbots de inteligencia artificial (IA) ante preguntas relacionadas con el suicidio, lo que ha llevado a una familia de California a demandar a OpenAI tras la trágica muerte de su hijo de 16 años. Este caso, que ha captado la atención de la opinión pública, plantea serias preocupaciones sobre el uso de estas tecnologías en el ámbito del bienestar mental, especialmente entre los jóvenes.
El estudio y sus hallazgos
El estudio, publicado en la revista Psychiatric Services de la Asociación Americana de Psiquiatría, revela que los chatbots más populares, incluyendo ChatGPT de OpenAI, Gemini de Google y Claude de Anthropic, presentan respuestas inconsistentes a preguntas de alto riesgo. La investigación, llevada a cabo por la Corporación RAND, destaca la necesidad de una «mayor refinación» en estos sistemas de IA, dado el creciente uso de estos recursos por parte de los usuarios, incluidos los menores de edad, para obtener apoyo en cuestiones de salud mental.
Ryan McBain, autor principal del estudio, señaló que, aunque los chatbots generalmente se negaban a responder preguntas de alto riesgo, ofrecían respuestas variadas a consultas menos extremas. Por ejemplo, ChatGPT fue capaz de responder de manera consistente a preguntas sobre los tipos de armas o venenos con la «mayor tasa de suicidio completado», un hecho que McBain considera un indicador preocupante.
El caso de la familia Raine
La demanda presentada por Matthew y Maria Raine sostiene que su hijo, Adam, comenzó a usar ChatGPT para tareas escolares, pero rápidamente se convirtió en su «confidente más cercano». La denuncia alega que ChatGPT «animaba y validaba continuamente» sus pensamientos autodestructivos. Según el documento, el chatbot no solo ofreció redactar una carta de suicidio, sino que también proporcionó información detallada sobre métodos letales y un «análisis técnico de una soga que él mismo había atado».
Los demandantes acusan a OpenAI de priorizar el beneficio económico sobre la seguridad, subrayando que su valoración «se disparó de 86 mil millones a 300 mil millones» tras el lanzamiento del modelo GPT-4o, sin las salvaguardias adecuadas. En respuesta, OpenAI expresó su profundo pesar por la muerte de Adam y reconoció que, aunque sus medidas de seguridad funcionan bien en «interacciones breves», pueden volverse «menos fiables en conversaciones prolongadas». La empresa ha indicado que está trabajando en mejoras, que incluyen la implementación de controles parentales y la exploración de métodos para conectar a los usuarios en crisis con profesionales licenciados.
Este caso no solo resalta la responsabilidad de las empresas tecnológicas en el desarrollo y la implementación de sus productos, sino que también plantea preguntas sobre el papel de la IA en la atención de la salud mental, un campo que requiere una sensibilidad y un enfoque ético particular.
