MiniMax สแกนโทเคน 200K ตรวจพบการเสื่อมสภาพ 4.9% ในโมเดลซีรีส์ M2

ตามบล็อกเทคนิคของ MiniMax บริษัทพบการเสื่อมสภาพของโทเค็นอย่างมีนัยสำคัญในโมเดลซีรีส์ M2 ผ่านการสแกนพจนานุกรมแบบเต็ม พบว่าโทเค็นประมาณ 4.9% จากทั้งหมด 200,000 โทเค็นมีประสิทธิภาพลดลงอย่างชัดเจน โดยโทเค็นภาษาญี่ปุ่นได้รับผลกระทบหนักสุดที่ 29.7% เมื่อเทียบกับเกาหลี (3.3%), รัสเซีย (3.7%), จีน (3.9%) และอังกฤษ (3.5%) การเสื่อมสภาพนี้เกิดจากโทเค็นที่มีความถี่ต่ำถูกดันไปในทิศทางพื้นที่เวกเตอร์ที่ไม่ถูกต้องระหว่างการเทรนหลังการฝึก ซึ่งโทเค็นที่มีความถี่สูงอย่างตัวทำเครื่องหมาย tool_call จะอัปเดตพารามิเตอร์รอบข้างอย่างต่อเนื่อง

MiniMax ได้ดำเนินการแก้ไขด้วยข้อมูลสังเคราะห์ โดยใช้โจทย์การทำซ้ำโทเค็นอย่างง่ายเพื่อทำให้พจนานุกรมทั้งชุดมีเสถียรภาพ ผลลัพธ์เกิดขึ้นทันที: อักขระรัสเซียที่ปนในคำตอบภาษาญี่ปุ่นลดจาก 47% เหลือ 1% และความเสถียรของเวกเตอร์ (ความคล้ายคลึงแบบโคไซน์) ดีขึ้นจากจุดต่ำสุด 0.329 ไปอยู่เหนือ 0.97 ในทุกโทเค็น