مينيماكس تفتح مصدر مكتبة انتباه متفرقة لدعم Blackwell مع أوزان M3 في يوم الجمعة المقبل

وفقًا لرايان لي، رئيس علاقات المطورين لدى MiniMax، فقد أصدرت الشركة كود MiniMax Sparse Attention (MSA) مفتوح المصدر، وهي مكتبة عالية الأداء للانتباه لوحدات معالجة NVIDIA Blackwell (SM100) تحت رخصة MIT. أعلن لي أن أوزان نموذج M3 ستُطرح يوم الجمعة 13 يونيو.

عند تطبيقها على الاستدلال ضمن سياق بمليون رمز لنموذج MiniMax-M3، تقلل MSA حسابات الانتباه بنسبة 28.4x مقارنةً بـ Dense GQA ضمن إعداد مماثل. وعلى وحدات H800، حققت المكتبة زيادة في سرعة مرحلة pre-fill بمقدار 14.2x وتسريعًا في مرحلة فك الترميز بمقدار 7.6x.

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات