تقوم شركة MiniMax بفحص 200 ألف رمز، وتكتشف انخفاضاً بنسبة 4.9% في نماذج السلسلة M2

وفقاً للمدونة التقنية لدى MiniMax، اكتشفت الشركة تدهوراً كبيراً في الرموز (tokens) لدى نماذج سلسلة M2، وذلك عبر مسح كامل للمفردات. أظهر نحو 4.9% من أصل 200,000 رمز تراجعاً ملحوظاً في الأداء، وكانت الرموز اليابانية الأكثر تضرراً بنسبة 29.7%، مقارنةً بالكورية (3.3%) والروسية (3.7%) والصينية (3.9%) والإنجليزية (3.5%). ينبع هذا التدهور من دفع الرموز منخفضة التكرار إلى اتجاهات غير صحيحة في فضاء المتجهات أثناء مرحلة ما بعد التدريب، حيث تعمل الرموز عالية التكرار مثل مؤشرات tool_call على تحديث المعلمات المحيطة بشكل مستمر.

طبّقت MiniMax إصلاحاً باستخدام بيانات اصطناعية عبر مهام بسيطة تتضمن تكرار الرموز، بهدف تثبيت المفردات بالكامل. جاءت النتائج فوراً: انخفض تداخل الحروف الروسية داخل الردود اليابانية من 47% إلى 1%، كما تحسنت ثباتية المتجهات (التشابه الكوسي) من أدنى مستوى عند 0.329 إلى أكثر من 0.97 عبر جميع الرموز.