MiniMax phát hành mã nguồn mở thư viện Sparse Attention cho Blackwell, trọng số M3 sẽ ra mắt vào thứ Sáu

Theo Ryan Lee, giám đốc quan hệ nhà phát triển của MiniMax, công ty đã công bố mã nguồn mở MiniMax Sparse Attention (MSA), một thư viện attention hiệu năng cao cho GPU NVIDIA Blackwell (SM100), theo giấy phép MIT. Lee cho biết trọng số mô hình M3 sẽ ra mắt vào Thứ Sáu, ngày 13 tháng 6.

Khi áp dụng cho suy luận ngữ cảnh 1 triệu token của MiniMax-M3, MSA giúp giảm 28,4 lần lượng tính toán attention so với Dense GQA với cấu hình tương đương. Trên GPU H800, thư viện đạt tốc độ pre-fill nhanh hơn 14,2 lần và tăng tốc giải mã 7,6 lần.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận