MiniMax open-source le modèle MiniMax M3 avec 428 milliards de paramètres et un contexte de 1 million de tokens

Selon Beating, MiniMax a publié en open-source le modèle natif multimodal de type mixture-of-experts (MoE) MiniMax M3 et ses poids sur Hugging Face. Le modèle compte 428 milliards de paramètres au total, avec 23 milliards de paramètres activés par token, et supporte nativement jusqu’à 1 million de tokens de contexte. L’équipe de développement a publié une version quantifiée MXFP8 et a intégré la prise en charge de frameworks d’inférence grand public, dont SGLang, vLLM et Transformers. MiniMax a également open-sourcé la bibliothèque de noyaux MiniMax Sparse Attention (MSA) légère, avec à la clé 9x de pré-remplissage plus rapide et 15x de décodage plus rapide sur un contexte de 1 million de tokens, grâce à une optimisation de l’architecture NVIDIA Blackwell.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire