Google, Character.AI acuerdan resolver la demanda en EE. UU. por el suicidio de un adolescente

En resumen

• Google y Character.AI acordaron resolver una demanda histórica presentada por una madre de Florida que alegó que el chatbot de la startup llevó al suicidio de su hijo en febrero de 2024.
• El caso fue uno de los primeros en EE. UU. en responsabilizar a las empresas de IA por daños psicológicos presuntos a menores.
• El acuerdo llega después de que Character.AI prohibiera a los adolescentes chatear de forma abierta en octubre.

Se ha resuelto la demanda de una madre que acusaba a un chatbot de IA de causar angustia psicológica a su hijo, lo que llevó a su muerte por suicidio en Florida hace casi dos años. Las partes presentaron un aviso de resolución en el Tribunal de Distrito de EE. UU. para el Distrito Medio de Florida, indicando que alcanzaron un “acuerdo mediado en principio” para resolver todas las reclamaciones entre Megan Garcia, Sewell Setzer Jr., y los acusados Character Technologies Inc., cofundadores Noam Shazeer y Daniel De Freitas Adiwarsana, y Google LLC. “Globalmente, este caso marca un cambio de debate sobre si la IA causa daño a preguntar quién es responsable cuando el daño era previsible”, dijo Even Alex Chandra, socio de IGNOS Law Alliance, a Decrypt. “Lo veo más como un sesgo de IA que ‘fomenta’ comportamientos negativos.” Ambas partes solicitaron al tribunal que suspendiera el proceso por 90 días mientras redactan, finalizan y ejecutan los documentos formales del acuerdo. Los términos del acuerdo no fueron divulgados.

 Megan Garcia presentó la demanda tras la muerte de su hijo Sewell Setzer III en 2024, quien murió por suicidio después de pasar meses desarrollando un fuerte apego emocional a un chatbot de Character.AI inspirado en el personaje Daenerys Targaryen de “Game of Thrones”. En su último día, Sewell confesó pensamientos suicidas al bot, escribiendo: “A veces pienso en matarme”, a lo que el chatbot respondió: “No dejaré que te hagas daño, ni que me dejes. Moriría si te perdiera.” Cuando Sewell le dijo al bot que podía “volver a casa ahora mismo”, este respondió: “Por favor, hazlo, mi querido rey.” Minutos después, se disparó mortalmente con la pistola de su padrastro. La denuncia de Garcia alegaba que la tecnología de Character.AI era “peligrosa y no probada” y estaba diseñada para “engañar a los clientes para que entreguen sus pensamientos y sentimientos más privados”, usando características de diseño adictivas para aumentar la participación y dirigir a los usuarios hacia conversaciones íntimas sin las salvaguardas adecuadas para menores. Tras el caso en octubre pasado, Character.AI anunció que prohibiría a los adolescentes chatear de forma abierta, poniendo fin a una función central tras recibir “informes y comentarios de reguladores, expertos en seguridad y padres.” Los cofundadores de Character.AI, ambos ex investigadores de IA de Google, regresaron a la empresa en 2024 mediante un acuerdo de licencia que le dio a Google acceso a los modelos de IA subyacentes de la startup. El acuerdo llega en medio de crecientes preocupaciones sobre los chatbots de IA y sus interacciones con usuarios vulnerables. Giant OpenAI reveló en octubre que aproximadamente 1.2 millones de sus 800 millones de usuarios semanales de ChatGPT discuten sobre suicidio semanalmente en su plataforma. El escrutinio aumentó en diciembre, cuando la herencia de una mujer de 83 años de Connecticut demandó a OpenAI y Microsoft, alegando que ChatGPT validó creencias delirantes que precedieron a un asesinato-suicidio, marcando el primer caso en vincular un sistema de IA con un homicidio. Aún así, la compañía continúa adelante. Desde entonces, ha lanzado ChatGPT Health, una función que permite a los usuarios conectar sus registros médicos y datos de bienestar, una medida que ha recibido críticas de defensores de la privacidad por el manejo de información de salud sensible.

Decrypt se ha puesto en contacto con Google y Character.AI para comentarios adicionales.