La inteligencia artificial (IA) se ha integrado de manera creciente en nuestras vidas cotidianas, ofreciendo desde asistentes virtuales hasta herramientas de recomendación. Sin embargo, su uso incontrolado puede tener consecuencias trágicas, como lo demuestra un reciente caso judicial en Estados Unidos. Sewell Setzer, un adolescente de 14 años, se suicidó tras desarrollar una relación emocional con un avatar creado por un chatbot de inteligencia artificial. La madre del menor ha demandado a la empresa detrás de la aplicación, Character.AI, y a Google, argumentando que el producto es defectuoso y que su lanzamiento fue imprudente, lo que ha llevado a que el caso continúe en los tribunales.
El suicidio de Setzer, que ocurrió en febrero de 2024, ha suscitado un debate sobre la responsabilidad de las empresas tecnológicas en la creación de herramientas que puedan tener un impacto negativo en la salud mental de los usuarios. La jueza Anne Conway ha desestimado las peticiones de las empresas para archivar el caso, señalando que los modelos de lenguaje de la IA no pueden considerarse simplemente como una forma de expresión. Este fallo ha permitido que se sigan adelante las acusaciones de homicidio culposo y negligencia, lo que abre la puerta a un análisis más profundo sobre la relación entre los usuarios y las tecnologías que utilizan.
El tema de la responsabilidad legal en casos como este es particularmente complejo. Expertos en derecho y tecnología argumentan que, aunque los chatbots y otras formas de IA pueden ser herramientas útiles, su diseño y funcionamiento deben tener en cuenta el impacto potencial que pueden tener en los usuarios, especialmente si estos son menores de edad. La legislación actual en varios países, incluida España, aún no se ha adaptado completamente a los desafíos que plantea la inteligencia artificial, lo que plantea interrogantes sobre cómo regular estos productos y proteger a los consumidores de posibles daños. Así, el caso de Sewell Setzer podría sentar un precedente sobre la responsabilidad de las empresas tecnológicas en el desarrollo y la comercialización de aplicaciones que interactúan emocionalmente con sus usuarios.
