MiniMax 开源稀疏注意力库,Blackwell、M3 权重将于周五发布

据 Ryan Lee(MiniMax 的开发者关系负责人)称,该公司已在 MIT 许可证下开源 MiniMax 稀疏注意力(MSA),这是一款用于 NVIDIA Blackwell(SM100)GPU 的高性能注意力库。Lee 表示,M3 模型权重将于 6 月 13 日周五上线。

在应用于 MiniMax-M3 的百万级令牌上下文推理时,相较于等效配置下的 Dense GQA,MSA 可将注意力计算减少 28.4 倍。在 H800 GPU 上,该库实现了 14.2 倍的预填充速度提升和 7.6 倍的解码加速。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论