Huaweis Ascend 910C schließt das Post-Training des DeepSeek-Modells mit 1,6 Billionen Parametern mit 1.000+ GPUs ab

Laut Beating hat ein gemeinsames Team aus dem Shenzhen Hetao College, dem Harbin Institute of Technology (Shenzhen), dem Shenzhen Big Data Research Institute, Huawei und Deepcity AI die erfolgreiche Fertigstellung des Full-Parameter-Post-Trainings für DeepSeek-V4-Pro bekannt gegeben, ein Modell mit 1,6 Billionen Parametern, das auf heimischer KI-Infrastruktur durchgeführt wurde. Dies ist das erste Mal, dass eine Drittorganisation ein Full-Parameter-Post-Training für ein Modell dieser Größenordnung auf chinesischer Hardware abgeschlossen hat.

Das Team nutzte einen Cluster mit mehr als 1.000 Huawei Ascend 910C-Chips, um Kommunikationsengpässe durch optimiertes verteiltes Load Balancing zu überwinden. Während des 1.500-Schritt-Trainingsprozesses lief das System ohne Unterbrechung, erreichte eine Model-FLOPs-Auslastungsrate (MFU) von über 30% und steigerte die Effizienz wichtiger Operatoren um 14%, wodurch industrielle Leistungsstandards erfüllt wurden.