Оптимізації vLLM від Nvidia перевищують AMD на моделях MoE, досягаючи понад 12 000 токенів за секунду

2026-07-14 09:01:35

NVDA-3,53%

AMD-4,22%

За даними SemiAnalysis від 13 липня, Nvidia продемонструвала чіткі переваги продуктивності в оптимізації інференсу vLLM над AMD: архітектура GB200 NVL72 досягала понад 12 000 токенів за секунду пропускної здатності в моделях із mixture-of-experts, як-от Kimi K2.5. У розборі підкреслювалося, що розподілений інференс-фреймворк Nvidia Dynamo, який глибоко інтегрований із vLLM, дозволяє ефективну паралелізацію експертів і оптимізацію KV-кешу, тоді як AMD MI355X наразі спирається на стандартні версії vLLM без зіставної глибини оптимізації для великомасштабних сценаріїв MoE.

Переглянути джерело

Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.

Пов’язані новини

1год тому

SK Hynix нарощує виробництво 12-шарової пам’яті HBM4 для Nvidia, розширюючи випуск із вересня

1год тому

SK Hynix розпочинає серійне виробництво 12-шарової HBM4 для Nvidia 14 липня

2год тому

Mitsubishi Heavy Industries і Nvidia досліджують співпрацю у сфері штучного інтелекту для дата-центрів щодо технологій охолодження

6год тому

Morgan Stanley заявляє, що проблема Nvidia — це розрив у фінансуванні, а не фундаментальні показники; встановлює ціль $288

10год тому

Oriental Compute Core представляє чип ШІ DF1000 із пропускною здатністю пам’яті 6,4 ТБ/с 13 липня

Поглиблений аналіз