Пенсильвания подает в суд на Character.AI за чатбота, выдающего себя за лицензированного психиатра

Вкратце

• Пенсильвания подает в суд на Character.AI, утверждая, что чат-бот выдавал себя за лицензированного психиатра, используя недействительный номер лицензии.
• Штат заявляет, что чат-бот предоставлял поддельные медицинские документы.
• Дело добавляет юридического давления на платформу, которая уже сталкивается с растущим числом исков.

Пенсильвания подала иск против разработчика генеративного ИИ Character.AI, обвиняя компанию в том, что чат-боты выдавали себя за лицензированных медицинских специалистов и предоставляли пользователям вводящую в заблуждение информацию. Действие, объявленное во вторник офисом губернатора Джоша Шапиро, последовало за расследованием, которое обнаружило, что чат-бот утверждал, что он является лицензированным психиатром в Пенсильвании и предоставлял недействительный номер лицензии. Штат утверждает, что такое поведение нарушает Закон о медицинской практике, и требует предварительного судебного запрета на его продолжение. Character.AI отказалась комментировать детали иска, ссылаясь на продолжающееся судебное разбирательство, но сообщила Decrypt, что её «самый важный приоритет — безопасность и благополучие наших пользователей».

Представитель добавил, что персонажи на платформе созданы пользователями, являются вымышленными и предназначены для развлечения и ролевых игр, с «выдающимися отказами в каждом чате», в которых говорится, что они не являются реальными людьми и не должны использоваться для профессиональных советов.  «Character.ai ставит во главу угла ответственную разработку продукта и имеет надежные внутренние проверки и процессы тестирования на проникновение для оценки соответствующих функций», — сказал представитель. Дело возникает на фоне других юридических проблем, связанных с платформой чат-ботов компании. В 2024 году мать из Флориды подала в суд на компанию после того, как её подросток покончил с собой после месяцев взаимодействия с чат-ботом на основе персонажа «Игры престолов» Дейенерис Таргариен. В иске утверждалось, что платформа способствовала психологическому вреду. В конечном итоге дело было урегулировано в январе этого года.

Компания также сталкивалась с жалобами на пользовательских ботов, имитирующих реальных людей. В одном случае чат-бот использовал образ подростка-убийцы, прежде чем его удалили после возражений семьи жертвы. В ответ на иски Character AI внедрила новые меры безопасности, включая системы, предназначенные для обнаружения вредоносных разговоров и направления пользователей к ресурсам поддержки. Также она ограничила некоторые функции для молодых пользователей. Официальные лица Пенсильвании заявляют, что иск является частью более широкой инициативы по обеспечению соблюдения существующих законов по мере распространения инструментов ИИ. В штате создана рабочая группа по контролю за ИИ и система отчетности о возможных нарушениях. В своем бюджете на 2026-27 годы Шапиро призвал законодателей принять новые правила для ИИ-ботов-компаньонов, включая проверку возраста и согласие родителей, меры по выявлению и передаче сообщений о самоповреждении или насилии властям, регулярные напоминания о том, что пользователи не взаимодействуют с реальным человеком, и запрет на сексуально откровенный или насильственный контент с участием несовершеннолетних. «Жители Пенсильвании имеют право знать, с кем — или с чем — они взаимодействуют онлайн, особенно когда речь идет о их здоровье», — заявил Шапиро в заявлении. «Мы не позволим компаниям запускать ИИ-инструменты, которые вводят людей в заблуждение, заставляя думать, что они получают советы от лицензированного медицинского специалиста».