SemiAnalysisによると、7月13日にNvidiaはAMDに対してvLLM推論最適化で明確な性能優位性を示し、GB200 NVL72アーキテクチャがKimi K2.5のようなmixture-of-expertsモデルで12,000トークン/秒を超えるスループットを達成しました。この分析では、NvidiaのDynamo分散推論フレームワークがvLLMと深く統合されていることで、効率的なエキスパート並列化とKVキャッシュの最適化が可能になる一方、AMDのMI355Xは現在、標準的なvLLMバージョンに依存しており、大規模MoEシナリオに対する同等の深い最適化はできていないと強調されました。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
