As otimizações do vLLM da Nvidia superam a AMD nos modelos MoE, atingindo mais de 12.000 tokens por segundo

NVDA-3,53%
AMD-4,22%
De acordo com a SemiAnalysis, em 13 de julho, a Nvidia demonstrou vantagens claras de desempenho na optimização da inferência do vLLM face à AMD, com a arquitectura GB200 NVL72 a atingir mais de 12.000 tokens por segundo de capacidade de processamento em modelos de mixture-of-experts como o Kimi K2.5. A análise destacou que o framework distribuído de inferência Dynamo da Nvidia, profundamente integrado com o vLLM, permite uma paralelização eficiente dos especialistas e a optimização da cache KV, enquanto a AMD MI355X, actualmente, depende de versões standard do vLLM sem uma optimização com profundidade comparável para cenários MoE de grande escala.
Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário