MiniMax stellt das Open-Source-Modell MiniMax M3 mit 428 Milliarden Parametern und 1M Token Kontext bereit

Laut Beating hat MiniMax das native multimodale Mixture-of-Experts-(MoE)-Modell MiniMax M3 mit seinen Gewichten Open-Source gestellt und auf Hugging Face bereitgestellt. Das Modell verfügt über 428 Milliarden totale Parameter, wobei pro Token 23 Milliarden Parameter aktiviert werden, und unterstützt nativ bis zu 1 Million Token Kontext. Das Entwicklungsteam veröffentlichte eine MXFP8 quantisierte Version und integrierte Unterstützung für gängige Inferenz-Frameworks, darunter SGLang, vLLM und Transformers. MiniMax hat zudem die leichte MiniMax Sparse Attention (MSA)-Kernelbibliothek Open-Source gestellt und damit 9-mal schnellere Pre-Filling- sowie 15-mal schnellere Decoding-Zeiten für einen Kontext von 1 Million Token erreicht, unterstützt durch Optimierungen für die NVIDIA-Blackwell-Architektur.
Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare