美國企業正在採用模型路由來控管人工智慧（AI）的支出，因首席財務官（CFO）與董事會加緊要求，以遏止低效率的 AI 成本。這項轉變係因兩年來的預設做法是，不論查詢複雜度一律改用最強大的 AI 模型，所導致的一個問題。如今的 AI 帳單已大幅超前於預算，令企業開始質疑是否每一項任務都需要使用前沿模型。模型路由會將工作分派給合適的模型：把複雜問題導向昂貴的前沿系統，而把例行任務交給更便宜的替代方案。這項變化有潛力改寫 AI 產業的定價動態。
模型路由：讓任務對應到成本適當的 AI 系統
模型路由是一種工具，會把難題導向昂貴的前沿模型，並將簡單任務交給更便宜、速度更快的替代方案。生產程式碼代理 Devin 的 Cognition 執行長 Scott Wu 表示，企業可在例行工作上，使用仍能滿足需求的模型，達到比現行成本效率高 5 到 10 倍。Wu 以要求模型命名美國第三任總統為例——不論模型成本高低，答案都會是 Thomas Jefferson。
Glean 執行長 Arvind Jain 估計，目前約 95% 的企業端 AI 使用仍運行在最昂貴的前沿模型上，即使有些任務其實更便宜的替代方案也能輕鬆處理。本週受訪的高階主管指出，多數公司根本沒有進行路由分派。
Cisco 報告：為 90,000 名員工提供的年度 AI 成本達 9 億美元
Cisco 的產品首席官 Jeetu Patel 提供了具體成本數字。以每位員工每週約 200 美元的代幣使用量計算，年支出約為每人 10,000 美元。對於 Cisco 的 90,000 名員工而言，合計每年達 9 億美元。
Patel 表示，公司已超出自身預算許多，並且不得不進行調整。公司目前有 30,000 名工程師投入打造產品，而這些產品主要是用 AI 編寫。Cisco 已重新分配資源，把代幣列為優先，而非其他支出。
Cognition 推出價值 1,000 萬美元的 AI 生產力保證
Cognition 宣布 AI 生產力保證，以回應客戶對投資報酬率（ROI）的疑慮。若 Devin 提供的工程價值低於客戶所支付的金額，Cognition 將資助使用額度，最高達 1,000 萬美元，直到效能符合預期。Wu 將這項保證定位為一種方式：讓團隊聚焦於輸出成果，而非像已消耗代幣數或程式碼行數這類活動指標。
朝模型路由轉型，將對 OpenAI 與 Anthropic 造成壓力；它們的商業模式與 IPO 預期皆假設會有以高溢價價格計算的龐大需求。若企業把高流量的例行工作導向更便宜的開源模型，前沿實驗室僅會因複雜任務而獲得付款。Patel 表示，最前沿技術仍將維持價值，但他預測定價模式將轉向：實驗室需要提升效率，而非只是單純收更高的費用。
常見問題
AI 系統中的模型路由是什麼？
模型路由是一種工具，會依照任務的複雜度，將工作分派給適當的 AI 模型。它會把困難問題送往昂貴的前沿模型，並把例行任務導向更便宜、速度更快的替代方案。Cognition 的 Scott Wu 表示，透過這種做法，企業可以在例行工作上達到比成本效率高 5 到 10 倍。
Cisco 每年在其員工的 AI 上花多少？
Cisco 每年在其 90,000 名員工的 AI 上的支出約為 9 億美元。Cisco 的產品首席官 Jeetu Patel 以每位員工每週約 200 美元的代幣使用量計算，換算後約為每人每年 10,000 美元。
