據報導,NVIDIA 與 MIT 研究人員發布了 Lightning OPD(Offline On-Policy Distillation),這是一種用於大型語言模型的新型後訓練框架,可消除在訓練期間維持教師模型持續運行的需求。透過離線預先計算教師模型的對數機率,該框架可使訓練效率提升 4 倍,同時釋放所有 GPU 資源用於學生模型訓練。
在 8 張 NVIDIA H100 GPU 的測試中,Lightning OPD 成功蒸餾了 Qwen3-30B-A3B-Base(具 300 億參數的 MoE 模型),並在 AIME 2024 基準測試上達到 71.0;相較之下,標準 OPD 在相同硬體上因記憶體不足而失敗。對於較小的 Qwen3-8B 模型,該框架僅需 30 個 GPU 小時計算時間即可達到 69.9 分。
免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見
聲明。
相關文章
Google 盯上 SpaceX 火箭合約用於軌道資料中心,計畫於 2027 年初前推出兩顆原型衛星
根據路透社,Google 正與 SpaceX 就火箭發射協議進行洽談,內容是為軌道資料中心提供發射服務,因該公司正在評估將運算基礎設施遷移至太空。該公司在 11 月宣布,其 Suncatcher 專案計劃在 2027 年初前將兩顆原型衛星發射至軌道。此次洽談是在 Anthropic 近期宣布其將使用 SpaceX 位於田納西州孟菲斯的 Colossus 1 設施中的運算能力,並探討與太空型資料中心相關的合作夥伴之後進行。
GateNews9分鐘前
Peak XV Partners 領投 Vapi 的 $50M B 輪(Series B)AI 語音平台
根據 TechCrunch,位於舊金山的 AI 語音代理軟體新創 Vapi,在由 Peak XV Partners 領投的 B 輪融資中募得 5000 萬美元,並將公司估值約 5 億美元。這一輪融資包含 M12、Kleiner Perkins 與 Bessemer,讓 Vapi 的總融資額達到 7200 萬美元。 Amazon Ring 於 2025 年底採用 Vapi,以在不擴充呼叫中心產能的情況下,應對假期支援來電激增;此前該公司在審查超過 40 家供應商後選擇 Vapi。Vapi 已處理超過 10 億通電話,並將 Intuit、New York Life、Instawork 與 Kavak 列為客戶。
GateNews19分鐘前
Anthropic 尋求以至少 3 億美元收購開發者工具新創 Stainless
據一位熟悉內情的人士稱,Anthropic 正就以至少 3 億美元收購開發者工具新創 Stainless 展開洽談,時間為 5 月 12 日。該交易可能涉及以 Anthropic 自家股票進行部分付款,但談判仍處於早期階段。
GateNews49分鐘前
Anthropic 募資至少 $30B ,估值超過 9,000 億美元,公司最大一輪融資
根據知情人士透露,Anthropic 正與投資人進行初步洽談,計畫在 5 月 13 日籌集至少 300 億美元的新資金,這將是該公司迄今最大的一次募資。這家 AI 公司正尋求以超過 9000 億美元的估值來籌集資本。
GateNews1小時前
Anthropic 洽談 300 億美元融資,估值或破 9,000 億挑戰 AI 市值高峰
Anthropic 正洽談至少 300 億美元的新一輪融資,估值目標可能突破 9,000 億美元,若成交將成為該公司歷來最大規模。資金用於擴充算力基礎設施、支撐 Claude 系列的成長,並可能在今年 10 月左右於市場公開募股,作為進入公開市場前的最後衝刺。
鏈新聞abmedia1小時前
Google 在 Android 推出 Gemini 智慧,並將於今年夏天登陸 Galaxy S26 與 Pixel 10
根據 Google 在 5 月 12 日的說法,該公司推出 Gemini Intelligence,這是一項針對 Android 的新 AI 功能,能在獲得使用者核准的前提下,自動化跨應用的多步驟任務。該功能將在今年夏天先於 Samsung Galaxy S26 與 Google Pixel 10 裝置上推出,之後再擴展至手錶、汽車、眼鏡與筆電。 Gemini Intelligence 讓使用者能在不需要手動切換應用的情況下完成複雜操作。新功能包括 Chrome 中的 AI 驅動瀏覽、利用已連接應用資料強化的自動填寫、一款名為 Rambler 的語音轉文字整理工具,以及透過自然語言提示建立的自訂 Android 小工具。Google 強調使用者仍保有控制權,因為 Gemini 只會在接收到指令後才執行,並且在完成任務前需要最終核准。
GateNews3小時前