فتحت Nous Research مصدرًا مفتوحًا لنموذج الانتباه Lighthouse مع تسريع 17x على B200 لسياق 512K

تذكر شركة Beating أن Nous Research قد أطلقت كود Lighthouse Attention مفتوح المصدر، وهو آلية تدريب لسياقات طويلة تحقق تسريعاً 17x لمعالجة نص بطول 512 ألف على وحدة معالجة رسومية واحدة من طراز B200، وتسريعاً شاملاً للتدريب بنسبة 1.4–1.7x عند طول 98 ألف. تستخدم التقنية نهجاً من الخشن إلى الدقيق: إذ تقوم أولاً بمسح ملخصات مضغوطة بمستويات مختلفة لتحديد المقاطع الأساسية، ثم تمرّر النص المُفلتر إلى FlashAttention للمعالجة. وفي الاختبارات على نموذج تبلغ معلماته 5.3 مليار ومع تدريب على 50 مليار رمز، لم تُقلّل هذه المقاربة وقت التدريب فحسب، بل تطابقت أيضاً أو تجاوزت أداء خط الأساس للتدريب المعتمد بالكامل على الانتباه.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات