Fireworks AI推出訓練平台預覽版,支持萬億參數全參數訓練

区块律动

根據 1M AI News 監測,AI 推理基礎設施公司 Fireworks AI 發布 Fireworks Training 預覽版,從純推理平台擴展為訓練與部署一體化平台。Fireworks AI 由曾參與建構 PyTorch 的前 Meta 工程師喬琳(Lin Qiao)創立,目前估值 40 億美元,日處理 token 量達 15 兆億。

平台提供三個層級:

  1. Training Agent:面向無 ML 基礎設施的產品團隊,描述任務、上傳資料即可完成從訓練到部署全流程,目前僅支援 LoRA
  2. Managed Training:面向 ML 工程師,支援 SFT、DPO 和強化學習微調,含全參數訓練
  3. Training API:面向研究團隊,可自訂損失函數和訓練循環,支援 GRPO、DAPO 等演算法

全參數訓練規模從單節點 Qwen3 8B 到 64 塊英偉達 B200 上的 Kimi K2.5(萬億參數)。

Fireworks AI 的生產推理客戶 AI 編程工具 Cursor、Vercel 和 Genspark 已在該平台上完成前沿強化學習訓練。Vercel 為其程式碼生成產品 v0 訓練了自動糾錯模型,無錯誤程式碼生成率達 93%,其 CTO Malte Ubl 表示,對比之下 Sonnet 3.5 僅為 62%,端到端延遲相較此前使用的封閉源模型改善 40 倍。Genspark 對萬億參數開源模型 Kimi K2 進行強化學習微調以建構深度研究代理,工具呼叫量提升 33%,成本降低 50%。Cursor 在全球 3 到 4 個叢集上分散式完成了 Composer 2 的強化學習訓練(目前在 CursorBench 排名第一),訓練與生產推理共享同一 GPU 池。

Fireworks AI 強調的核心技術差異化是訓練與推理之間的數值一致性。MoE(混合專家)模型在數值上比稠密模型更脆弱,隱藏狀態的些微變化可能翻轉專家路由並級聯放大。Fireworks 為所有支援的模型公布訓練與推理之間的 KL 散度值,皆低於 0.01。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明
留言
0/400
暫無留言