以太坊聯合創辦人 Vitalik Buterin 已完全退出雲端 AI 服務,並在本週發布的一篇部落格文章中,詳述他這套全本地、隔離沙盒(sandboxed)的人工智慧(AI)設定。
重點整理:
Buterin 將這套系統描述為「self-sovereign / local / private / secure」,並表示這是直接回應他所看到的,嚴重的安全與隱私失敗正在 AI 代理領域擴散。他指出,研究顯示約有 15% 的代理技能,或外掛工具,包含惡意指令。資安公司 Hiddenlayer 展示:解析單一個惡意網頁就可能徹底攻陷一個 Openclaw 實例,使其能在未經使用者察覺的情況下下載並執行 shell scripts。
「我懷有一種非常害怕的心態:正當我們終於在把端到端加密普及到主流,並讓越來越多的『先本地(local-first)』軟體落地,以隱私為方向邁出了一步之際,我們卻正走到倒退十步的邊緣。」Buterin 寫道。
他首選的硬體是一台筆電,配備 Nvidia 5090 GPU,具備 24 GB 的視訊記憶體。透過 llama-server 從 Alibaba 運行開放權重(open-weights)的 Qwen3.5:35B 模型,整套設定可達到每秒 90 tokens;Buterin 稱這是舒適日常使用的目標。他測試了搭載 128 GB 統一記憶體(unified memory)的 AMD Ryzen AI Max Pro,速度為每秒 51 tokens;以及 DGX Spark,速度為每秒 60 tokens。
他表示,DGX Spark 被行銷為桌面 AI 超級電腦,但就其成本而言,且吞吐量又比一台優質筆電 GPU 更低,所以表現並不令人印象深刻。至於作業系統,Buterin 由 Arch Linux 轉用 NixOS,讓使用者能在單一宣告式(declarative)檔案中定義整套系統組態。他使用 llama-server 作為背景守護程式(background daemon),讓任何應用程式都能連線到一個本地埠(local port)。
他指出,Claude Code 可以改指向本地的 llama-server 實例,而不是 Anthropic 的伺服器。他認為隔離(sandboxing)是他安全模型的核心。他使用 bubblewrap,只需用一條指令就能從任何目錄建立彼此隔離的環境。在那些沙盒內執行的程序,只能存取明確允許並受控的檔案,以及被允許的網路埠。Buterin 已在 github.com/vbuterin/messaging-daemon 開源一個訊息傳遞守護程式(messaging daemon),用來包裝(wraps) signal-cli 與 email。
他補充說明,這個守護程式可以自由讀取訊息,並在不需要確認的情況下把訊息傳送給自己。任何要發送給第三方的對外訊息,都必須取得明確的人類核准。他稱這是「human + LLM 2-of-2」模型,並表示同樣的邏輯也適用於以太坊錢包。他建議正在打造連接 AI 的錢包工具的團隊:把自主交易(autonomous transactions)的上限設為每天 $100,並要求對任何超過此上限的交易,或任何包含可能用於外洩資料的 calldata 的交易進行人類確認。
對於研究任務,Buterin 將本地工具 Local Deep Research,拿來跟他自己的設定做比較;該設定使用 pi agent 框架,並搭配 SearXNG,後者是一個自架(self-hosted)的、以隱私為導向的複合搜尋引擎(meta-search engine)。他說 pi 加上 SearXNG 能產生更好的答案。他會在本地保存一份約 1 terabyte 的維基百科(Wikipedia)離線資料快照(dump),再配合技術文件,以降低他對外部搜尋查詢的依賴;而他把外部搜尋視為一種隱私洩漏。
他也在 github.com/vbuterin/stt-daemon 發布了一個本地音訊轉錄(audio transcription)守護程式。這個工具在基本使用情境下不需要 GPU,並將輸出提供給 LLM,以便進行校正與摘要。在以太坊整合方面,Buterin 表示 AI 代理絕不應該持有不受限制的錢包存取權。他建議把人類與 LLM 視為兩個不同的確認因素(confirmation factors),並且兩者各自能捕捉不同的失敗模式。
對於本地模型不足的情況,Buterin 提出一套以隱私保護為前提的遠端推論做法。他提到自己與研究員 Davide 的 ZK-API 提案、Openanonymity 計畫,以及使用 mixnets 來防止伺服器透過 IP 位址連結後續請求。他也提到可信執行環境(trusted execution environments)可作為在近期降低遠端推論造成的資料洩漏的一種方式;但他也指出:用於私有雲推論的全同態加密(fully homomorphic encryption)至今仍太慢,難以在今天達到實務可行性。
Buterin 最後以一則說明收尾:這篇貼文描述的是起點,而不是完成的產品,並提醒讀者不要複製他精確的工具,並不要假設這些工具就一定是安全的。