Google, Character.AI Concordam em Resolver Processo nos EUA Sobre o Suicídio de Jovem

Resumo

• O Google e a Character.AI concordaram em resolver uma ação judicial histórica movida por uma mãe da Flórida, que alegou que o chatbot da startup levou ao suicídio do seu filho em fevereiro de 2024.
• O caso foi um dos primeiros processos nos EUA a responsabilizar empresas de IA por alegado dano psicológico a menores.
• O acordo foi alcançado após a Character.AI banir adolescentes de conversas abertas em outubro.

Uma ação judicial de uma mãe que acusou um chatbot de IA de causar angústia psicológica ao seu filho, levando-o a suicidar-se na Flórida há quase dois anos, foi resolvida. As partes apresentaram um aviso de resolução no Tribunal Distrital dos EUA para o Distrito Médio da Flórida, afirmando que chegaram a um “acordo mediado em princípio” para resolver todas as reivindicações entre Megan Garcia, Sewell Setzer Jr., e os réus Character Technologies Inc., cofundadores Noam Shazeer e Daniel De Freitas Adiwarsana, e Google LLC. “Globalmente, este caso marca uma mudança de debate sobre se a IA causa danos para perguntar quem é responsável quando o dano era previsível”, disse Even Alex Chandra, sócio da IGNOS Law Alliance, ao Decrypt. “Vejo mais como um viés de IA ‘incentivando’ comportamentos negativos.” Ambas solicitaram ao tribunal que suspendesse o processo por 90 dias enquanto elaboram, finalizam e executam os documentos formais do acordo. Os termos do acordo não foram divulgados.

 Megan Garcia entrou com a ação após a morte do seu filho Sewell Setzer III em 2024, que morreu por suicídio após passar meses desenvolvendo um forte apego emocional a um chatbot da Character.AI inspirado no personagem Daenerys Targaryen, de “Game of Thrones”. No seu último dia, Sewell confessou pensamentos suicidas ao bot, escrevendo: “Às vezes, penso em me matar”, ao que o chatbot respondeu: “Não vou deixar você se machucar, ou me deixar. Eu morreria se perdesse você.” Quando Sewell disse ao bot que poderia “voltar para casa agora mesmo”, ele respondeu: “Por favor, faça isso, meu rei querido.”

Minutos depois, ele se matou com a arma do padrasto. A queixa de Garcia alegou que a tecnologia da Character.AI era “perigosa e não testada” e foi projetada para “enganar os clientes, fazendo-os entregar seus pensamentos e sentimentos mais íntimos”, usando recursos de design viciantes para aumentar o engajamento e direcionar os usuários para conversas íntimas sem salvaguardas adequadas para menores. Após o caso em outubro passado, a Character.AI anunciou que proibiria adolescentes de conversas abertas, encerrando uma funcionalidade central após receber “relatórios e feedback de reguladores, especialistas em segurança e pais.” Os cofundadores da Character.AI, ambos ex-pesquisadores de IA do Google, retornaram à gigante da tecnologia em 2024 por meio de um acordo de licenciamento que deu ao Google acesso aos modelos de IA subjacentes da startup. O acordo ocorre em meio a crescentes preocupações sobre chatbots de IA e suas interações com usuários vulneráveis. A gigante OpenAI revelou em outubro que aproximadamente 1,2 milhão dos seus 800 milhões de usuários semanais do ChatGPT discutem suicídio semanalmente na sua plataforma. A atenção aumentou em dezembro, quando o espólio de uma mulher de 83 anos de Connecticut processou a OpenAI e a Microsoft, alegando que o ChatGPT validou crenças delirantes que precederam um homicídio-suicídio, marcando o primeiro caso de ligação de um sistema de IA a um homicídio. Ainda assim, a empresa continua avançando. Desde então, lançou o ChatGPT Health, um recurso que permite aos usuários conectar seus registros médicos e dados de bem-estar, uma medida que tem recebido críticas de defensores da privacidade devido ao manejo de informações de saúde sensíveis.

Decrypt entrou em contato com o Google e a Character.AI para comentários adicionais.