Tencent ra mắt mô hình Hy3 lượng tử hóa với 295 tỷ tham số, có thể triển khai trên một GPU duy nhất

TENCENT-0,30%
Gần đây, Tencent Hunyuan đã phát hành các phiên bản Hy3 được lượng tử hóa nhằm đáp ứng yêu cầu từ cộng đồng, cho phép mô hình 295 tỷ tham số chạy trên một GPU suy luận duy nhất hoặc thậm chí trên máy cục bộ nếu có đủ bộ nhớ. Nhóm đã lượng tử hóa trọng số Hy3 xuống độ chính xác 1-bit và 4-bit, đóng gói chúng ở định dạng GGUF và tích hợp với hệ sinh thái llama.cpp, nhờ đó những tác vụ trước đây cần các cụm multi-GPU giờ đây có thể triển khai rộng rãi hơn trong nhiều kịch bản.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận