AI y salud mental: la empatía de los chatbots enfrenta sesgos raciales en sus respuestas

In Tecnología
diciembre 21, 2024

La empatía en los chatbots de salud mental: un análisis crítico

Con el auge de la tecnología y el incremento de la búsqueda de apoyo psicológico en entornos digitales, los chatbots impulsados por inteligencia artificial (IA) están ganando protagonismo. Este fenómeno responde, en parte, a la creciente necesidad de atención en salud mental, especialmente en Estados Unidos, donde más de 150 millones de personas viven en áreas designadas como deficitarias en profesionales de la salud mental. Las plataformas digitales se han convertido en espacios donde los usuarios comparten sus inquietudes y buscan consejo, como se evidencia en foros como Reddit.

Investigadores del Instituto Tecnológico de Massachusetts (MIT), la Universidad de Nueva York (NYU) y la Universidad de California en Los Ángeles (UCLA) han llevado a cabo un estudio exhaustivo sobre la efectividad y la equidad en las respuestas de los chatbots de salud mental, utilizando un conjunto de datos que incluye más de 12,000 publicaciones y 70,000 respuestas de subforos relacionados con la salud mental. En este análisis, se comparó la empatía y la efectividad de las respuestas generadas por el modelo de lenguaje GPT-4 con las respuestas de usuarios reales de Reddit. Para ello, dos psicólogos clínicos evaluaron un conjunto aleatorio de publicaciones, sin saber cuál era la fuente de las respuestas, para determinar el nivel de empatía en cada una.

Los hallazgos muestran que, aunque las respuestas generadas por GPT-4 son, en general, más empáticas y efectivas en fomentar cambios de comportamiento positivos que las humanas, también se identificaron sesgos significativos. Las respuestas de GPT-4 mostraron niveles de empatía reducidos hacia usuarios de raza negra y asiática en comparación con sus contrapartes blancas. Este estudio destaca la importancia de considerar las características demográficas en la interacción con la IA, sugiriendo que proporcionar instrucciones específicas sobre el uso de atributos demográficos puede mitigar dichos sesgos. La investigación plantea un desafío importante en la implementación de estas tecnologías en entornos clínicos, donde la equidad y la sensibilidad cultural son cruciales para ofrecer un apoyo efectivo y accesible.

/ Published posts: 2105

Diario obrero y republicano fundado el 14 de Abril de 2006.