騰訊 Hunyuan 推出 Stem 稀疏注意力演算法,於 128K 上下文下將首個 Token 延遲降低 3.7 倍

根據 Guru Club,在 6 月 5 日,騰訊 Hunyuan 發布了 Stem 稀疏注意力演算法,並獲得頂級機器學習會議 ICML-26 的接納。該演算法透過 Token Position Decay(TPD)與 Output-Aware Metric(OAM),在 25% 的預算下達到近乎無損的準確度。當與 HPC 操作員結合時,在 128K 的上下文長度下,第一個 token 的延遲降低 3.7x。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆