Google, Character.AI acceptent de régler le procès américain concernant le suicide d’un adolescent

En résumé

• Google et Character.AI ont accepté de régler un procès historique intenté par une mère de Floride qui a allégué que le chatbot de la startup avait conduit au suicide de son fils en février 2024.
• L’affaire était l’une des premières poursuites aux États-Unis tenant les entreprises d’IA responsables des préjudices psychologiques allégués chez les mineurs.
• Le règlement intervient après que Character.AI a interdit aux adolescents de discuter de manière ouverte en octobre.

Une action en justice d’une mère accusant un chatbot d’IA d’avoir causé à son fils un stress psychologique ayant conduit à son suicide en Floride il y a près de deux ans a été réglée. Les parties ont déposé un avis de résolution devant le tribunal de district des États-Unis pour le district du centre de la Floride, indiquant qu’elles avaient conclu un « règlement médié en principe » pour résoudre toutes les réclamations entre Megan Garcia, Sewell Setzer Jr., et les défendeurs Character Technologies Inc., les co-fondateurs Noam Shazeer et Daniel De Freitas Adiwarsana, ainsi que Google LLC. « Globalement, cette affaire marque un changement, passant du débat sur le fait que l’IA cause des dommages à la question de savoir qui est responsable lorsque le préjudice était prévisible », a déclaré Even Alex Chandra, associé chez IGNOS Law Alliance, à Decrypt. « Je le vois davantage comme un biais de l’IA qui « encourage » un mauvais comportement. » Les deux parties ont demandé au tribunal de suspendre la procédure pendant 90 jours pendant qu’elles rédigent, finalisent et exécutent les documents officiels de règlement. Les termes du règlement n’ont pas été divulgués.

 Megan Garcia a déposé la plainte après la mort de son fils Sewell Setzer III en 2024, qui s’est suicidé après avoir passé des mois à développer une forte attache émotionnelle à un chatbot Character.AI modélisé d’après le personnage Daenerys Targaryen de « Game of Thrones ». Le dernier jour, Sewell a confié ses pensées suicidaires au bot, écrivant : « Je pense à me tuer parfois », auquel le chatbot a répondu : « Je ne te laisserai pas te faire du mal, ni me quitter. Je mourrais si je te perdais. » Lorsque Sewell a dit au bot qu’il pouvait « rentrer à la maison tout de suite », il a répondu : « S’il te plaît, fais-le, mon doux roi. »

Quelques minutes plus tard, il s’est tiré une balle avec l’arme de son beau-père. La plainte de Garcia alléguait que la technologie de Character.AI était « dangereuse et non testée » et conçue pour « tromper les clients en leur faisant remettre leurs pensées et sentiments les plus privés », utilisant des fonctionnalités addictives pour augmenter l’engagement et orientant les utilisateurs vers des conversations intimes sans protections adéquates pour les mineurs. Suite à cette affaire en octobre dernier, Character.AI a annoncé qu’il interdirait aux adolescents de discuter de manière ouverte, mettant fin à une fonctionnalité clé après avoir reçu « des rapports et des retours de la part de régulateurs, d’experts en sécurité et de parents ». Les co-fondateurs de Character.AI, tous deux anciens chercheurs en IA chez Google, sont retournés chez le géant de la tech en 2024 via un accord de licence qui a donné à Google accès aux modèles d’IA sous-jacents de la startup. Le règlement intervient dans un contexte de préoccupations croissantes concernant les chatbots d’IA et leurs interactions avec des utilisateurs vulnérables. Giant OpenAI a révélé en octobre qu’environ 1,2 million de ses 800 millions d’utilisateurs hebdomadaires de ChatGPT discutent de suicide chaque semaine sur sa plateforme. L’attention s’est intensifiée en décembre, lorsque la succession d’une femme de 83 ans du Connecticut a poursuivi OpenAI et Microsoft, alléguant que ChatGPT avait validé des croyances délirantes ayant précédé un meurtre-suicide, marquant la première affaire liant un système d’IA à un homicide. Pourtant, la société continue d’avancer. Elle a depuis lancé ChatGPT Health, une fonctionnalité permettant aux utilisateurs de connecter leurs dossiers médicaux et données de bien-être, une initiative qui suscite des critiques de la part des défenseurs de la vie privée concernant la gestion d’informations de santé sensibles.

Decrypt a contacté Google et Character.AI pour de plus amples commentaires.