Nvidia eröffnet Nemotron 3 Ultra: Flaggschiff-Modell mit 550B Parametern und hybrider Mamba-Transformer-MoE-Architektur

Laut Beating veröffentlichte Nvidia am 4. Juni sein Flaggschiff Large Language Model Nemotron 3 Ultra. Es verfügt über insgesamt 550 Milliarden Parameter, davon 55 Milliarden aktive Parameter. Das Modell erreicht 48 Punkte auf dem Intelligence-Index von Artificial Analysis und ist damit das leistungsstärkste Open-Source-US-Modell; an zweiter Stelle steht Kimi K2.6 mit 54 Punkten.

Das Modell nutzt eine hybride Mamba-Transformer-MoE-Architektur, die abwechselnd Mamba-2-State-Space-Layer mit Transformer-Attention-Layern verwendet. Sie unterstützt ein Kontextfenster von 1 Million Tokens und vermeidet ein quadratisches Wachstum des KV-Cache. Im Vergleich zu dichten Modellen ähnlicher Größenordnung erreicht die hybride Architektur das 5-fache höhere Durchsatztempo und 30% niedrigere Inferenzkosten bei Agenten-Aufgaben. Nemotron 3 Ultra ist auf Hugging Face, NVIDIA NIM und OpenRouter verfügbar.