MiniMax открывает исходный код библиотеки разреженного внимания для Blackwell; поставки весов M3 — в пятницу

По словам Райана Ли, руководителя по работе с разработчиками MiniMax, компания открыла исходный код MiniMax Sparse Attention (MSA) — высокопроизводительной библиотеки внимания для GPU NVIDIA Blackwell (SM100) — под лицензией MIT. Ли объявил, что веса модели M3 будут запущены в пятницу, 13 июня.

При применении к контекстному выводу MiniMax-M3 с охватом в 1 миллион токенов MSA сокращает вычисления внимания на 28,4x по сравнению с Dense GQA при эквивалентной конфигурации. На GPU H800 библиотека обеспечила ускорение pre-fill в 14,2x и ускорение декодирования в 7,6x.

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.
комментарий
0/400
Нет комментариев