Tilde Research يكتشف أن مُحسّن الميون يقتل 25% من الخلايا العصبية؛ ويحقق بديل Aurora مكسبًا في كفاءة البيانات بمقدار 100 ضعف

وفقاً لـ Tilde Research، يعاني مُحسّن Muon الذي اعتمدته نماذج ذكاء اصطناعي رائدة، بما في ذلك DeepSeek V4 وKimi K2.5، من عيبٍ خفي: إذ يتسبب في موتٍ دائم لأكثر من 25% من عصبونات طبقات MLP خلال التدريب المبكر. صممت المجموعة Aurora، وهو مُحسّن بديل، وقامت بإتاحته مفتوح المصدر. وقد حقق نموذج بمعلمات 1.1B تم تدريبه باستخدام 100B فقط من الرموز أداءً مطابقاً لأداء Qwen3-1.7B الذي تم تدريبه على 36T من الرموز عبر معايير فهم اللغة مثل HellaSwag وWinogrande، ما يوضح تحسناً تقريبيّاً في كفاءة البيانات بنسبة 100x. تضيف Aurora حملاً حسابياً إضافياً بنسبة 6% مقارنةً بـ Muon، ويمكن استخدامها كبديل مباشر.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات