AMD MI355X достигает инференса GLM 5.2 при вдвое меньшей стоимости по сравнению с NVIDIA B200

По данным Wafer, стартапа, специализирующегося на оптимизации инференса, чипы AMD MI355X, работающие с последней open-source моделью GLM 5.2, достигли стоимости инференса примерно вдвое ниже, чем у флагманского GPU NVIDIA B200, обеспечивая при этом примерно 80% производительности. Тестирование показало совокупную пропускную способность одного узла в 2 626 токенов в секунду, при этом пропускная способность одного потока достигла 213 токенов в секунду. Оптимизация задействовала программные методы, включая квантизацию модели, выбор движка инференса и исправления совместимости ROCm, а не пользовательское оборудование.

Отдельный отчёт от SemiAnalysis подтвердил аналогичные результаты, отметив стоимость инференса AMD MI355X в $0,22 за миллион токенов в интерактивных сценариях, что ниже $0,30 у NVIDIA B200. Однако преимущество AMD остаётся преимущественно в развёртываниях на одном узле; NVIDIA сохраняет значительное лидерство в многоузловых распределённых системах и приложениях корпоративного масштаба.