据专注于推理优化的初创公司 Wafer 表示,搭载最新开源模型 GLM 5.2 的 AMD MI355X 芯片,其推理成本约为英伟达旗舰 B200 GPU 的一半,同时性能达到后者的约 80%。测试显示,单节点总吞吐量为每秒 2,626 个 token,单流吞吐量达到每秒 213 个 token。该优化利用了软件技术,包括模型量化、推理引擎选择和 ROCm 兼容性修复,而非定制硬件。
SemiAnalysis 的另一份报告证实了类似结果,指出 AMD MI355X 在交互场景下的推理成本为每百万 token 0.22 美元,低于英伟达 B200 的 0.30 美元。然而,AMD 的优势主要仍体现在单节点部署中;英伟达在多节点分布式系统和大型应用领域仍保持显著领先。