Sakana AI và Nvidia đạt tốc độ suy luận H100 nhanh hơn 30% bằng cách bỏ qua 80% các phép tính không hợp lệ

Sakana AI và Nvidia đã mã nguồn mở TwELL, một định dạng dữ liệu thưa giúp các GPU H100 bỏ qua 80% các phép tính không hợp lệ trong các mô hình ngôn ngữ lớn mà không làm giảm độ chính xác. Giải pháp mang lại suy luận nhanh hơn tới 30% và huấn luyện nhanh hơn 24% trên H100, đồng thời giảm mức sử dụng bộ nhớ đỉnh. Trong thử nghiệm với một mô hình tham số 1,5 tỷ, phương pháp này đã đưa số nơ-ron hoạt động xuống dưới 2% nhờ cơ chế chính quy hóa nhẹ trong quá trình huấn luyện, không suy giảm hiệu năng trên bảy tác vụ hạ nguồn.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận