MiniMax publie en open source une bibliothèque d’attention clairsemée pour Blackwell, avec des poids M3, vendredi

D’après Ryan Lee, directeur des relations développeurs de MiniMax, l’entreprise a publié en open source MiniMax Sparse Attention (MSA), une bibliothèque d’attention hautes performances pour les GPU NVIDIA Blackwell (SM100), sous licence MIT. Lee a annoncé que les poids du modèle M3 seront lancés vendredi 13 juin.

Appliquée à l’inférence de contexte de million de tokens de MiniMax-M3, MSA réduit les calculs d’attention de 28,4x par rapport à la Dense GQA à configuration équivalente. Sur les GPU H800, la bibliothèque a atteint un gain de vitesse de pré-remplissage de 14,2x et une accélération du décodage de 7,6x.

Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire