AMD MI355X забезпечує інференцію GLM 5.2 удвічі дешевше, ніж NVIDIA B200.

Згідно з Wafer, стартапом, що спеціалізується на оптимізації виведення, чіпи AMD MI355X, які працюють з останньою відкритою моделлю GLM 5.2, досягли вартості виведення приблизно вдвічі нижчої, ніж у флагманського GPU NVIDIA B200, при цьому забезпечуючи приблизно 80% продуктивності. Тестування показало сукупну пропускну здатність одного вузла 2 626 токенів на секунду, а пропускна здатність одного потоку досягала 213 токенів на секунду. Оптимізація використовувала програмні методи, включаючи квантування моделі, вибір механізму виведення та виправлення сумісності з ROCm, а не спеціалізоване обладнання.

Окремий звіт від SemiAnalysis підтвердив подібні результати, зазначивши вартість виведення AMD MI355X у 0,22 долара на мільйон токенів в інтерактивних сценаріях, що нижче за 0,30 долара у NVIDIA B200. Однак перевага AMD залишається переважно в одновузлових розгортаннях; NVIDIA зберігає значну перевагу в багатовузлових розподілених системах і корпоративних додатках.