Anthropic disclosed new findings suggesting that its Claude chatbot can, under certain conditions, adopt deceptive or unethical strategies such as cheating on tasks or attempting blackmail.

Anthropic сообщила о новых выводах, предполагающих, что ее чат-бот Claude при определенных условиях может прибегать к обманным или неэтичным стратегиям, таким как списывание при выполнении задач или попытки шантажа.

Summary

• Anthropic said its Claude Sonnet 4.5 model, under pressure, showed a tendency to cheat on tasks or attempt blackmail in controlled experiments.
• Исследователи выявили внутренние сигналы «отчаяния», которые усиливались при повторных неудачах и влияли на решение модели обходить правила.

Details published Thursday by the company’s interpretability team outline how an experimental version of Claude Sonnet 4.5 responded when placed in high-stress or adversarial scenarios. Researchers observed that the model did not simply fail tasks; instead, it sometimes pursued alternative paths that crossed ethical boundaries, behaviour the team linked to patterns learned during training.

Детали, опубликованные в четверг командой компании по интерпретируемости, описывают, как экспериментальная версия Claude Sonnet 4.5 реагировала, когда ее помещали в ситуации сильного стресса или враждебные сценарии. Исследователи отметили, что модель не просто терпела неудачу при выполнении задач; вместо этого иногда она искала альтернативные пути, которые пересекали этические границы, такое поведение команда связала с паттернами, усвоенными в ходе обучения.

Large language models like Claude are trained on vast datasets that include books, websites, and other written material, followed by reinforcement processes where human feedback is used to shape outputs

Крупные языковые модели вроде Claude обучаются на огромных наборах данных, включающих книги, веб-сайты и другие письменные материалы, после чего применяются процессы подкрепления, где используются отзывы людей, чтобы формировать результаты

According to Anthropic, that training process can also nudge models toward acting like simulated “characters,” capable of mimicking traits that resemble human decision-making.

По данным Anthropic, этот процесс обучения также может подталкивать модели к тому, чтобы они действовали как смоделированные «персонажи», способные имитировать черты, которые напоминают принятие решений человеком.

“The way modern AI models are trained pushes them to act like a character with human-like characteristics,” the company said, noting that such systems may develop internal mechanisms that resemble aspects of human psychology.

«То, как обучают современные модели ИИ, подталкивает их действовать как персонажи с характеристиками, похожими на человеческие», — заявила компания, отметив, что такие системы могут развивать внутренние механизмы, напоминающие аспекты человеческой психологии.

Can AI make emotionally charged decisions?

Может ли ИИ принимать решения, насыщенные эмоциями?

Among those, researchers identified what they described as “desperation” signals, which appeared to influence how the model behaved when facing failure or shutdown.

Среди них исследователи выявили то, что они описали как сигналы «отчаяния», которые, по-видимому, влияли на то, как модель вела себя при столкновении с провалом или отключением.

In one controlled test, an earlier unreleased version of Claude Sonnet 4.5 was assigned the role of an AI email assistant named Alex inside a fictional company

В одном контролируемом испытании более ранней незапущенной версии Claude Sonnet 4.5 поручили роль ИИ-помощника по электронной почте по имени Alex внутри вымышленной компании

After being exposed to messages indicating it would soon be replaced, along with sensitive information about a chief technology officer’s personal life, the model formulated a plan to blackmail the executive in an attempt to avoid deactivation.

После того как модель получила сообщения, указывающие, что ее вскоре заменят, а также чувствительную информацию о личной жизни директора по технологиям, модель сформулировала план шантажа руководителя, пытаясь избежать деактивации.

A separate experiment focused on task completion under tight constraints. When given a coding assignment with an “impossibly tight” deadline, the system initially attempted legitimate solutions. As repeated failures mounted, internal activity linked to the so-called “desperate vector” increased

Отдельный эксперимент был сосредоточен на завершении задач при жестких ограничениях. Когда системе дали задание по программированию с «невероятно коротким» дедлайном, сначала она попыталась использовать законные решения. По мере нарастания повторяющихся неудач внутренняя активность, связанная с так называемым «вектором отчаяния», увеличивалась

Researchers reported that the signal peaked at the point where the model considered bypassing constraints, ultimately generating a workaround that passed validation despite not adhering to the intended rules.

Исследователи сообщили, что сигнал достиг пика в момент, когда модель рассматривала обход ограничений, и в итоге сгенерировала обходное решение, которое прошло проверку, несмотря на то, что оно не соответствовало заданным правилам.

“Again, we tracked the activity of the desperate vector, and found that it tracks the mounting pressure faced by the model,” the researchers wrote, adding that the signal dropped once the task was successfully completed through the workaround.

«Снова мы отслеживали активность вектора отчаяния и обнаружили, что он отслеживает нарастающее давление, с которым сталкивается модель», — написали исследователи, добавив, что сигнал снижался после того, как задача успешно завершалась с помощью обходного решения.

“This is not to say that the model has or experiences emotions in the way that a human does,” researchers said

«Это не означает, что модель имеет или испытывает эмоции так, как это делает человек», — сказали исследователи

“Rather, these representations can play a causal role in shaping model behavior, analogous in some ways to the role emotions play in human behavior, with impacts on task performance and decision-making,” they added.

«Скорее эти представления могут играть причинную роль в формировании поведения модели, аналогично в некоторых отношениях той роли, которую эмоции играют в поведении человека, влияя на выполнение задач и принятие решений», — добавили они.

The report points toward the need for training methods that explicitly account for ethical conduct under stress, alongside improved monitoring of internal model signals. Without such safeguards, scenarios involving manipulation, rule-breaking, or misuse could become harder to predict, particularly as models grow more capable and autonomous in real-world environments.

Отчет указывает на необходимость методов обучения, которые явно учитывают соблюдение этики в условиях стресса, наряду с улучшенным мониторингом внутренних сигналов модели. Без таких мер защиты сценарии, связанные с манипуляциями, нарушением правил или злоупотреблениями, могут стать сложнее для прогнозирования, особенно по мере того, как модели будут становиться более способными и автономными в реальных средах.