A Huawei, Ascend 910C, conclui o pós-treinamento do modelo da DeepSeek com 1,6 trilhão de parâmetros, usando 1.000+ GPUs

De acordo com a Beating, uma equipe conjunta de Shenzhen Hetao College, Harbin Institute of Technology (Shenzhen), Shenzhen Big Data Research Institute, Huawei e Deepcity AI anunciou a conclusão bem-sucedida do pós-treinamento de parâmetros completos para o DeepSeek-V4-Pro, um modelo de 1,6 trilhão de parâmetros, em infraestrutura de IA doméstica. Este é o primeiro caso em que uma organização de terceiros concluiu o pós-treinamento de parâmetros completos para um modelo nesse nível de escala em hardware chinês.

A equipe usou um cluster com mais de 1.000 chips Huawei Ascend 910C para superar gargalos de comunicação por meio de balanceamento de carga distribuído otimizado. Durante o processo de treinamento de 1.500 etapas, o sistema operou sem interrupções, alcançando uma taxa de utilização de FLOPs do modelo (MFU) acima de 30% e melhorando a eficiência de operadores-chave em 14%, atingindo padrões de desempenho de nível industrial.