MiniMax Open-Sources MiniMax M3 Model với 428 tỷ tham số và ngữ cảnh 1 triệu token

Theo Beating, MiniMax đã công bố mã nguồn mở của mô hình bản địa đa phương thức (multimodal) dạng mixture-of-experts (MoE) MiniMax M3, kèm trọng số trên Hugging Face. Mô hình có tổng cộng 428 tỷ tham số, với 23 tỷ tham số được kích hoạt cho mỗi token, hỗ trợ tối đa ngữ cảnh 1 triệu token một cách gốc. Nhóm phát triển đã phát hành phiên bản được lượng tử hóa MXFP8 và tích hợp hỗ trợ cho các framework suy luận phổ biến, bao gồm SGLang, vLLM và Transformers. MiniMax cũng đã công bố mã nguồn mở thư viện kernel MiniMax Sparse Attention (MSA) nhẹ, đạt tốc độ pre-filling nhanh hơn 9 lần và decoding nhanh hơn 15 lần trong ngữ cảnh 1 triệu token nhờ tối ưu hóa kiến trúc NVIDIA Blackwell.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận