Google 推出第八代 TPU 晶片:效能與價格比提升,並分離訓練與推理

Gate News 訊息,4 月 22 日——Google Cloud 宣布於 4 月 22 日發布其第八代自研自建的 TPU (Tensor Processing Unit) 晶片。新版陣容包含 TPU 8t,專為 AI 訓練任務設計,以及 TPU 8i,針對 AI 推理工作負載進行最佳化。兩款晶片都將在今年稍後提供。Google 也推出用於建置 AI 代理的新工具,並宣布一項 $750 百萬級基金,以推動企業採用 AI。

TPU 8t 在相同價格點下,提供比 Google 先前世代 Ironwood TPU 高 2.8 倍的效能。TPU 8i 相較於前代提升 80% 的效能,並採用靜態隨機存取記憶體 (SRAM) 架構,以實現「具成本效益的大規模吞吐與低延遲,讓數百萬個代理能同時運行」,根據執行長 Sundar Pichai 的說法。相較於 Ironwood,TPU 8t 與 TPU 8i 均達成超過雙倍的每瓦效能效率,其中 TPU 8t 提升 124%,TPU 8i 提升 117%。Google 在整個技術堆疊中最佳化電源效率,並整合動態電源管理系統,能根據即時需求調整用電量。

Google 的自家模型目前透過直接客戶 API 呼叫,每分鐘處理超過 1600 億個 tokens;相比上個季度的 1000 億增長。如今在 Google,AI 生成了 75% 的所有新增程式碼;而去年秋季為 50%。Google 的企業產品 Gemini Enterprise,在付費月活用戶方面按季成長 40%。該公司預期,到 2026 年,將把略超過其機器學習運算預算的一半投資於雲端服務,以更好地服務雲端客戶與合作夥伴。Google 也在擴大與 Broadcom 的合作,為未來世代開發並供應客製化 TPU 晶片,因為主要科技公司正尋求 NVIDIA 與 AMD 成本高且供應受限的 GPU 之替代方案。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆