Huawei, USTC y la Universidad de Pekín logran una mejora de velocidad del 58% en Ascend A3 para el entrenamiento de modelos MoE

Beating informa que investigadores de Huawei, la Universidad de Ciencia y Tecnología de China (USTC) y la Universidad de Pekín presentaron HyperParallel-MoE, un marco de programación del compilador diseñado para los chips Ascend A3. El marco reduce la latencia en los módulos de computación de expertos MoE en un 36%, logrando una aceleración global del procesamiento de datos del 58% (1,49–1,58x más rápido) en clústeres de 256 nodos que ejecutan modelos tipo DeepSeek de 671B parámetros, mientras que la velocidad de entrenamiento de un solo paso mejoró en un 8–9%.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios