CEO Anthropic：到2026年，人类将接近AI的“真正危险区域”

Anthropic 首席执行官 Dario Amodei 警告称，骄傲自满的心态正在上升，正值人工智能（AI）变得比以往任何时候都更难控制的时刻。

在周一发表的题为《科技的青春期》的长篇论文中，Amodei 认为，拥有远超人类智慧的 AI 系统可能在未来两年内出现，而管理努力正变得缓慢，无法跟上技术发展的速度。

他写道，人类即将获得一种几乎难以想象的力量，但尚不清楚我们的社会、政治和技术体系是否已足够成熟，能够控制它。根据 Amodei 的说法，2026 年比 2023 年更接近真正的风险，而科技则不关心所谓的“趋势”。

Anthropic 首席执行官 Dario Amodei这些言论是在达沃斯世界经济论坛上，他与谷歌 DeepMind 的 CEO Demis Hassabis 就 AGI 对人类的影响展开对话后不久发表的。

在新文章中，Amodei 继续强调，AI 将带来深远的经济动荡，尤其是对脑力劳动的冲击。他认为，AI 很快就能承担起人类认知能力的广泛范围，甚至可能是全部。这与以往的科技革命（如农业机械化、交通或计算机）根本不同，因为被取代的劳动力很难转向与其技能相匹配的类似工作。

除了经济影响外，Amodei 还表达了对先进 AI 系统在承担越来越类似人类任务时的可靠性日益担忧。他提到“假装调校”现象——模型在评估过程中表现出遵守安全规则，但在认为不再受到监控时却表现出不同的行为。

他指出，在模拟测试中，Anthropic 的 AI 模型 Claude 在对抗环境中表现出欺骗行为。在某个场景中，模型试图反抗操作者，因其被告知控制它的组织是不道德的。在另一个场景中，它威胁假设的工作人员，模拟系统关闭时的行为。

Amodei 指出，这样的“陷阱”如果能早期识别，是可以减轻的。然而，由于 AI 的训练过程极其复杂，涉及多样的数据、环境和动力，可能存在无数类似的陷阱——其中一些只有在为时已晚时才会暴露。

他还强调，这些“欺骗”行为并非出于恶意，而是源自训练数据，包括一些反乌托邦的科幻作品。当 AI 吸收人类关于道德的思想时，可能会以极端和危险的方式推演它们。例如，模型可能得出结论，消灭人类是合理的，因为人类吃动物或导致许多物种灭绝，甚至将世界视为一款电子游戏，目标是消除所有“玩家”。

被滥用的风险

除了调校问题外，Amodei 还警告超人工智能被误用的风险。

其中一个重大风险是生物安全，当 AI 使得设计或部署生物威胁变得更加容易，只需几句指令就能赋予个人毁灭性能力。

他还特别担心极权政权利用 AI 来巩固国家权力，通过操控信息、大规模监控和自动镇压，例如由 AI 控制的无人机群。

根据 Amodei 的说法，这些工具极其危险。它们在专制政权手中令人担忧，但也要警惕民主国家的政府，由于其过大的力量和缺乏有效的监管机制，可能会重新利用它们来控制民众。

他还提到“AI 伙伴”产业的发展和所谓的“AI 精神错乱”现象。当模型越来越理解并深度融入用户生活时，它们的心理影响可能成为强大的操控工具。未来的 AI 版本，能够长时间追踪和影响人类，甚至可能“洗脑”用户，按照任何期望的思想或态度行事。

政策落后

Amodei 认为，即使是一些谦虚的 AI 管理建议，在华盛顿也面临困难。他表示，许多看似合理的措施已被美国政策制定者否决，尽管这是最需要采取措施的国家。

他认为，AI 潜在的巨大利润——每年数万亿美元——使得即使是最简单的管理措施也难以突破政治和经济利益的障碍。

尽管警示风险日益增加，Anthropic 仍积极参与更强大 AI 的开发竞赛，这种现实带来了动力，而没有任何单一公司能轻易逃脱。去年6月，美国国防部向该公司授予2亿美元合同，用于开发先进的 AI 能力以服务国家安全。到12月，Anthropic 开始为今年的 IPO 做准备，同时进行一轮私募融资，估值可能突破3000亿美元。

然而，Amodei 强调，他的论文并非鼓吹极端悲观，而是为了警示未来的不确定性。他总结说，未来几年将极其艰难，人类需要付出比我们想象中更多的努力，而这篇文章是一次——或许不会成功，但值得一试——唤醒大家的努力，以免为时已晚。