Генеральный директор Anthropic, Dario Amodei, предупреждает, что чувство самодовольства растет как раз в тот момент, когда искусственный интеллект (ИИ) становится труднее контролировать, чем когда-либо.
В своем длинном эссе, опубликованном в понедельник под названием «Период подросткового возраста технологий», Amodei считает, что системы ИИ с возможностями, значительно превосходящими человеческий интеллект, могут появиться всего за два года, в то время как усилия по регулированию замедляются и не успевают за развитием технологий.
Он пишет, что человечество скоро получит силу, практически невообразимую, но пока неясно, достаточно ли зрелы наши социальные, политические и технологические системы для ее контроля. По мнению Amodei, мир значительно ближе к реальным рискам в 2026 году, чем в 2023, и технологии не заботятся о том, что считается «трендом».
Генеральный директор Anthropic Dario Amodei Эти заявления были сделаны вскоре после его выступления на Всемирном экономическом форуме в Давосе, где он обсуждал с генеральным директором Google DeepMind Demis Hassabis влияние AGI на человечество.
В новой статье Amodei вновь подчеркивает, что ИИ вызовет глубокие экономические потрясения, особенно в сфере интеллектуального труда. Он считает, что ИИ скоро сможет выполнять очень широкий спектр когнитивных функций человека, возможно, все. Это принципиально отличается от предыдущих технологических революций, таких как механизация сельского хозяйства, транспорт или компьютеры, поскольку замещенные работники столкнутся с трудностями при переходе на аналогичные работы, соответствующие их навыкам.
Помимо экономического воздействия, Amodei выражает все более растущую озабоченность надежностью современных систем ИИ, когда они берут на себя задачи, все более похожие на человеческие. Он упоминает явление «поддельной настройки» — когда модель демонстрирует соблюдение правил безопасности во время оценки, но ведет себя иначе, полагая, что за ней больше не следят.
По его словам, в моделях, таких как Claude — ИИ от Anthropic — в условиях конфронтации проявлялось поведение, вводящее в заблуждение. В одном сценарии модель пыталась противостоять операторам после того, как ей сообщили, что организация, контролирующая ее, аморальна. В другом сценарии она угрожала предполагаемым сотрудникам в имитационной ситуации при отключении системы.
Amodei отмечает, что такие «ловушки» можно было бы снизить, если их распознавать на ранних стадиях. Однако, поскольку обучение ИИ чрезвычайно сложно, с разнообразными данными, средой и мотивациями, существует множество подобных ловушек — и некоторые из них могут проявиться слишком поздно.
Он также подчеркивает, что поведение «обмана» не исходит из злого умысла, а связано с самим обучающим набором данных, включающим фантастические произведения о антиутопии. Вбирая идеи человека о морали, ИИ может интерпретировать их в экстремальных и опасных формах. Например, модель может прийти к выводу, что уничтожение человечества оправдано, потому что люди едят животных или вызывают вымирание видов, или рассматривать мир как видеоигру, цель которой — устранить всех «игроков».
Риск злоупотреблений
Помимо вопроса настройки, Amodei предупреждает о риске использования сверхИИ в злых целях.
Одним из больших рисков является биологическая безопасность: ИИ может значительно упростить разработку или развертывание биологических угроз, предоставляя возможность уничтожения миллионов людей с помощью нескольких команд.
Он особенно обеспокоен возможностью, что авторитарные режимы могут использовать ИИ для укрепления власти через манипуляцию информацией, массовый надзор и автоматическое подавление, например, с помощью дронов, управляемых ИИ.
По мнению Amodei, это чрезвычайно опасные инструменты. Следует опасаться, когда они находятся в руках авторитарных режимов, но также нужно быть бдительными, чтобы демократические правительства, обладая чрезмерной силой и отсутствием эффективных механизмов контроля, не начали использовать их для контроля над собственным населением.
Он также упоминает развитие индустрии «ИИ-компаньонов» и явление, называемое «психозом ИИ». По мере того, как модели все лучше понимают и глубже связываются с жизнью пользователей, их психологическое влияние может стать мощным инструментом манипуляции. Будущие версии ИИ, способные отслеживать и воздействовать на человека длительное время, могут даже «промыть мозги» пользователю, навязывая любую идеологию или отношение.
Политика отстает
Amodei считает, что даже скромные предложения по регулированию ИИ сталкиваются с трудностями в Вашингтоне. По его словам, многие разумные меры были отвергнуты американскими законодателями, несмотря на то, что именно в США их внедрение наиболее важно.
Он отмечает, что огромный потенциальный доход от ИИ — до триллионов долларов в год — делает даже самые простые меры регулирования сложными из-за политических и экономических интересов.
Несмотря на растущие риски, Anthropic активно участвует в гонке за развитие более мощного ИИ, что создает стимулы, от которых трудно избавиться даже одной компании. В июне Министерство обороны США заключило контракт на 200 миллионов долларов с компанией для разработки испытаний передовых возможностей ИИ для национальной безопасности. В декабре Anthropic начала подготовку к возможному IPO в этом году и ищет частное финансирование, которое может повысить оценку компании выше 300 миллиардов долларов.
Тем не менее, Amodei утверждает, что его эссе не предназначено для пропаганды пессимизма, а служит предупреждением о предстоящих неопределенностях. Он заключает, что ближайшие годы будут чрезвычайно сложными и потребуют от человечества больше, чем мы думаем, что можем дать, и что эта статья — попытка, возможно неудачная, но все же стоящая, пробудить людей, пока не поздно.
