Згідно з технічним блогом MiniMax, компанія виявила суттєву деградацію токенів у своїх моделях серії M2 під час повного сканування словника. Близько 4,9% із 200 000 токенів показали помітне падіння продуктивності, причому найсильніше постраждали японські токени — 29,7% проти корейських (3,3%), російських (3,7%), китайських (3,9%) та англійських (3,5%). Деградація спричинена токенами низької частоти, які під час посттренування спрямовуються в неправильні напрямки векторного простору, тоді як маркери high-frequency токенів, зокрема tool_call, безперервно оновлюють параметри навколо.

MiniMax упровадила виправлення на основі синтетичних даних із використанням простих задач на повторення токенів, щоб стабілізувати весь словник. Результати були миттєвими: російські символи, що змішувалися в японські відповіді, знизилися з 47% до 1%, а стабільність векторів (косинусна подібність) покращилася з мінімуму 0,329 до понад 0,97 для всіх токенів.

Переглянути джерело

Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.

Пов’язані новини

05-09 05:21

Агент Hermes очолює сьогодні рейтинг використання OpenRouter: 271 мільярд токенів, випередивши OpenClaw

05-09 00:17

TON посідає перше місце в щорічних нагородах за стейкінг серед топ-50 криптовалют, Павло Дуров оголошує

05-08 09:47

Block Records $173M Втрата від переоцінки Bitcoin у І кварталі 2026 року, підвищує прогноз на весь рік

05-08 01:35

uPEG-токен Ethereum опустився нижче $8,2 млн, зниження на 31% за 24 години від піку $34M

05-07 02:31

Прев’ю Tencent Hunyuan Hy3 бачить 10-кратне зростання токенів за два тижні

Поглиблений аналіз