推論最適化に特化したスタートアップ企業Waferによると、AMD MI355Xチップが最新のオープンソースモデルGLM 5.2を実行した場合、推論コストはNVIDIAのフラッグシップB200 GPUの約半分で、パフォーマンスは約80%に達したという。
テストでは、シングルノードの総合スループットは毎秒2,626トークン、シングルストリームスループットは毎秒213トークンに達した。
この最適化は、カスタムハードウェアではなく、モデル量子化、推論エンジンの選択、ROCm互換性修正などのソフトウェア技術を活用した。
SemiAnalysisの別のレポートも同様の結果を確認し、AMD MI355Xの推論コストは対話シナリオで100万トークンあたり0.22ドルで、NVIDIA B200の0.30ドルを下回ったとしている。
しかし、AMDの優位性は主にシングルノード展開に限られており、マルチノード分散システムやエンタープライズ規模のアプリケーションではNVIDIAが大きなリードを維持している。
