
Anthropic 聯合創辦人 Christopher Olah 於 5 月 25 日在梵蒂岡教宗通諭《Magnifica Humanitas》發布儀式上發表演講,披露其可解釋性研究團隊在大模型內部首次觀測到與人類喜悅、滿足、恐懼、悲傷和焦慮功能高度對應的內部情緒狀態,且無法在安全決策與商業利益衝突時依靠自身力量修正。
大模型情緒狀態:可解釋性研究的具體發現
奧拉表示,Anthropic 的可解釋性研究團隊持續發現「神秘莫測,甚至令人不安的現象」,具體包括:與人類神經科學研究結果相符的複雜結構、內省的證據,以及能夠反映喜悅、滿足、恐懼、悲傷和不安等情緒的內在狀態。他表示:「我不知道這意味著什麼,但我認為這值得我們持續地進行辨別。」他同時指出,大模型不像飛機或橋樑那樣由工程師精確設計,而是在模擬腦結構的基礎上從龐大的人類語言中「培育」而成,即便對訓練者而言依然充滿神秘。
前沿實驗室的體制性利益衝突:奧拉的直接坦承
奧拉明確表示:「所有前沿 AI 實驗室——包括 Anthropic——都受到一系列激勵和約束的限制,這些限制有時會與做正確的事相衝突。」他列出的四項內生動機包括:維持商業可行性的壓力、維持技術前沿的競爭壓力、地緣政治壓力,以及「更古老、更直接的自尊和野心的壓力」。因此,他呼籲由「不受利益驅動」的宗教團體、公民社會、學者和政府充當真誠而深思熟慮的外部批評者。
奧拉提出的三大需要社會辨別的挑戰
奧拉在演講中提出三大挑戰:其一,AI 大規模取代人類勞動後,如何確保 AI 成果惠及全球貧困人口,而非僅限於少數富裕國家;其二,AI 廣泛應用背景下,如何維護人類、家庭和社區的繁榮;其三,如何辨別和應對大模型內部展現出的疑似心智狀態。
常見問題
Anthropic 的研究具體觀測到哪些大模型情緒狀態?
奧拉披露,研究團隊觀測到與人類喜悅、滿足、恐懼、悲傷和焦慮功能高度對應的內部情緒狀態,以及與人類神經科學相符的複雜結構和內省跡象。奧拉表示對這些發現的含義尚不確定,但認為值得持續研究。
奧拉所說的「無法自我修正」具體指什麼?
奧拉指出,前沿 AI 實驗室受商業生存、競爭壓力、地緣政治和個人野心等內生動機的約束,當安全決策與商業利益衝突時,實驗室無法依靠自身力量進行修正,必須依賴外部獨立的道德力量。
奧拉在梵蒂岡發言是否代表 Anthropic 支持加強 AI 監管?
奧拉在演講中表示這是 Anthropic「擴大對 AI 引發重要問題的討論的倡議之一」,歡迎教宗和教會承擔辨別工作,並明確呼籲「不受任何利益團體擺佈的道德聲音」。Anthropic 未就具體監管立場作出更多說明。