Дані для тренування DeepSeek V4 збільшилися до 33T: нестабільність спровокувала затримку релізу

Повідомлення Gate News від 24 квітня — Технічний звіт DeepSeek V4 розкриває, що V4-Flash і V4-Pro були попередньо натреновані на 32T і 33T токенів відповідно, удвічі більше приблизно 15T токенів, використаних для V3. У звіті визнається, що під час тренування вони зіткнулися з "значними проблемами нестабільності", причому сплески loss неодноразово виникали через аномалії в шарі Mixture-of-Experts (MoE); сам механізм маршрутизації загострює ці аномалії, і простий rollback не може вирішити проблему.

DeepSeek упровадив два рішення, які тепер застосовуються до реального тренування: Anticipatory Routing, що відокремлює обчислення індексу маршрутизації від оновлень backbone-мережі та автоматично запускає перемикання лише тоді, коли виявляються сплески loss (додаючи приблизно 20% накладних витрат), і SwiGLU Clamping, який безпосередньо пригнічує аномалії шляхом обмеження значень активацій фіксованим діапазоном. У звіті зазначено, що обидва підходи є ефективними, але визнається, що "базові принципи досі недостатньо вивчені".

Сьюзан Чжан, дослідниця Google DeepMind, яка раніше працювала в Meta AI та OpenAI, прокоментувала, що нестабільність, спричинена подвоєнням даних для тренування, "пояснює затримку". Вона описала два рішення як "тимчасові латки" та водночас визнала технічну прозорість DeepSeek.