Gate News Nachricht, 24. April — DeepSeek hat die V4-Serie Open-Source-Modelle unter der MIT-Lizenz veröffentlicht; die Gewichte sind nun auf Hugging Face und ModelScope verfügbar. Die Serie umfasst zwei Mixture-of-Experts-(MoE)-Modelle: V4-Pro mit 1,6 Billionen Gesamtparametern und 49 Milliarden aktivierten pro Token sowie V4-Flash mit 284 Milliarden Gesamtparametern und 13 Milliarden aktivierten pro Token. Beide unterstützen ein Kontextfenster von 1 Million Token.
Die Architektur bietet drei zentrale Upgrades: einen hybriden Aufmerksamkeitsmechanismus, der komprimierte spärliche Attention (CSA) und stark komprimierte Attention (HCA) kombiniert, wodurch der Overhead für Long-Context deutlich reduziert wird — die Inferenz-FLOPs von V4-Pro für 1M Kontext betragen lediglich 27% von denen von V3.2, und der KV-Cache (VRAM zum Speichern historischer Informationen während der Inferenz) liegt nur bei 10% von dem von V3.2; manifold-beschränkte Hyperverbindungen (mHC) ersetzen traditionelle Residualverbindungen, um die Stabilität der Signalübertragung zwischen Schichten zu verbessern; und der Muon-Optimizer für schnellere Trainingskonvergenz. Das Pre-Training verwendete über 32 Billionen Token an Daten.
Beim Post-Training wird ein zweistufiger Ansatz genutzt: Zuerst werden domänenspezifische Experten trainiert, über supervised fine-tuning (SFT) und GRPO-Reinforcement-Learning, dann werden sie zu einem einzelnen Modell zusammengeführt, durch Online-Distillation. V4-Pro-Max (highest inference mode) beansprucht, das stärkste Open-Source-Modell mit erstklassigen Coding-Benchmarks zu sein und die Lücken zu Closed-Source-Frontier-Modellen bei Reasoning- und Agent-Tasks deutlich zu verringern. V4-Flash-Max erreicht Pro-Level-Reasoning-Performance mit ausreichend Budget für Rechenleistung, ist jedoch durch die Parametervolumen-Größe bei reinem Wissen und komplexen Agent-Tasks begrenzt. Die Gewichte werden in gemischter FP4+FP8-Präzision gespeichert.
Disclaimer: The information on this page may come from third parties and does not represent the views or opinions of Gate. The content displayed on this page is for reference only and does not constitute any financial, investment, or legal advice. Gate does not guarantee the accuracy or completeness of the information and shall not be liable for any losses arising from the use of this information. Virtual asset investments carry high risks and are subject to significant price volatility. You may lose all of your invested principal. Please fully understand the relevant risks and make prudent decisions based on your own financial situation and risk tolerance. For details, please refer to
Disclaimer.
Verwandte Artikel
Cloudflare: KI-Agenten treiben nicht-menschlichen Traffic, x402 bietet die Lösung
Der Chief Strategy Officer von Cloudflare erklärte, dass mittlerweile mehr als die Hälfte des Internetverkehrs nicht-menschlich ist, was auf einen bedeutenden Wandel der Nutzungsmuster im Web hinweist, der durch KI-Agenten und automatisierte Systeme vorangetrieben wird. Der Manager sagte, dass die x402 Foundation Infrastruktur aufbaut, um Herausforderungen anzugehen
CryptoFrontier37M her
IREN erwirbt Mirantis für $625M in einem All-Stock-Deal, um die KI-Cloud-Plattform auszubauen
Laut BlockBeats hat IREN Limited am 5. Mai zugestimmt, in einem All-Stock-Deal die Softwarefirma Mirantis für etwa 625 Millionen US-Dollar für die Akquisition von Cloud-Infrastruktur zu übernehmen. Die Übernahme soll die KI-Cloud-Fähigkeiten von IREN stärken, indem Software- und Orchestrierungsfunktionen eingeführt werden, um
GateNews6Std her
Anthropic-CEO: Die USA prüfen vereinfachte Prozesse für die Veröffentlichung von KI-Modellen; Wettbewerber 1–3 Monate hinterher
Laut 金十 hat der CEO von Anthropic am 5. Mai offengelegt, dass die US-Regierung offenbar erwägt, den Prozess zur Veröffentlichung von KI-Modellen zu vereinfachen. Der CEO bemerkte, dass die Fähigkeiten anderer großer KI-Labore Anthropic möglicherweise um ein bis drei
GateNews6Std her
Das SGLang-Team schließt die $100M -Seed-Finanzierungsrunde bei $400M -Bewertung ab, wobei Accel die Führung übernimmt
Laut Beating hat das Team hinter der Open-Source-Inferenz-Engine SGLang die RadixArk formal gegründet und eine Seed-Finanzierungsrunde in Höhe von 100 Millionen US-Dollar bei einer Bewertung von 400 Millionen US-Dollar nach der Emission abgeschlossen. Accel leitete die Runde, mit Spark Capital als Co-Lead-Investor. Halbleiter-Rivalen Nvidia (über
GateNews7Std her
OpenAI gewährt 8.000 Entwicklern eine Erhöhung der Codex-Ratenbegrenzung um das Zehnfache bis zum 5. Juni
Laut Beating hat OpenAI E-Mails an über 8.000 Entwickler gesendet, die sich für das GPT-5,5-Offline-Event in San Francisco angemeldet hatten, und ihnen einen 10-fachen Anstieg der Codex-Rate-Limits gewährt, der ab sofort bis zum 5. Juni gilt. Alle Bewerber erhalten den Bonus, unabhängig davon, ob sie das Event erhalten haben
GateNews7Std her
OpenAI prüft in Gesprächen mit Anthropic eine Joint-Venture-Übernahme von drei KI-Dienstleistungsunternehmen am 5. Mai
Laut Jin 10 befindet sich das Joint Venture von OpenAI mit Anthropic offenbar in Gesprächen, am 5. Mai drei Unternehmen für KI-Dienstleistungen zu übernehmen. Zu den ins Visier genommenen Unternehmen sollen Berichten zufolge auf Engineering ausgerichtete Firmen im Bereich der KI-Dienste gehören
GateNews7Std her
