Tin tức từ Gate, ngày 24 tháng 4 — Báo cáo kỹ thuật V4 của DeepSeek tiết lộ rằng V4-Flash và V4-Pro đã được tiền huấn luyện lần lượt trên 32T và 33T token, gấp đôi khoảng 15T token được dùng cho V3. Báo cáo thừa nhận đã gặp phải “những thách thức mất ổn định đáng kể” trong quá trình huấn luyện, với các đỉnh loss liên tục xuất hiện do những bất thường trong lớp Mixture-of-Experts (MoE); cơ chế định tuyến bản thân nó cũng làm trầm trọng thêm các bất thường này, và việc rollback đơn giản không thể khắc phục được vấn đề.

DeepSeek đã triển khai hai giải pháp hiện được áp dụng vào huấn luyện thực tế: Định tuyến mang tính dự đoán, tách việc tính toán chỉ mục định tuyến khỏi các cập nhật của mạng backbone và tự động chỉ kích hoạt khi phát hiện các đỉnh loss (adding khoảng 20% chi phí phát sinh), và Kẹp SwiGLU, trực tiếp triệt tiêu các bất thường bằng cách kẹp giá trị kích hoạt vào một phạm vi cố định. Báo cáo cho biết cả hai cách tiếp cận đều hiệu quả nhưng thừa nhận “những nguyên lý nền tảng vẫn chưa được hiểu đủ.”

Susan Zhang, một nhà nghiên cứu tại Google DeepMind, người trước đây từng làm việc tại Meta AI và OpenAI, nhận xét rằng sự mất ổn định do việc nhân đôi dữ liệu huấn luyện “giải thích cho sự trì hoãn.” Cô mô tả hai giải pháp là “miếng dán tạm” đồng thời thừa nhận sự minh bạch kỹ thuật của DeepSeek.

Xem nguồn

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.