Huawei, USTC und die Peking-Universität erreichen 58% Geschwindigkeitssteigerung auf Ascend A3 für das Training von MoE-Modellen

Laut Beating stellten Forscher von Huawei, der University of Science and Technology of China (USTC) und der Peking University HyperParallel-MoE vor, ein Compiler-Scheduling-Framework für Ascend-A3-Chips. Das Framework reduziert die Latenz in MoE-Expert-Computing-Modulen um 36% und erreicht damit eine 58%ige Gesamtbeschleunigung bei der Datenverarbeitung (1,49–1,58x schneller) in 256-Node-Clustern, die DeepSeek-artige Modelle mit 671 Milliarden Parametern ausführen. Gleichzeitig verbesserte sich die Trainingsgeschwindigkeit pro Einzelschritt um 8–9%.
Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare