Nhóm của Kaiming He tại MIT phát hành mô hình khuếch tán ngôn ngữ ELF với 45 tỷ token huấn luyện

Theo Beating, nhóm của MIT Kaiming He gần đây đã công bố ELF (Embedded Language Flows), một mô hình khuếch tán ngôn ngữ đi chệch khỏi cách tiếp cận tự hồi quy “dự đoán token tiếp theo” mà các mô hình kiểu GPT sử dụng. Thay vào đó, ELF thực hiện sinh văn bản trong không gian nhúng liên tục, chỉ chuyển đổi sang các token rời rạc ở bước cuối cùng.

Trong các benchmark sinh không điều kiện trên OpenWebText, ELF-B với 105M tham số đạt xấp xỉ 24,1 độ nghịch đảo sinh (Gen. PPL) với lấy mẫu 32 bước, vượt trội nhiều mô hình ngôn ngữ khuếch tán rời rạc và liên tục khác. Đáng chú ý, ELF-B chỉ cần khoảng 45 tỷ token huấn luyện, ít hơn cỡ một bậc độ lớn so với các phương pháp tương đương vốn thường vượt quá 500 tỷ token.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.

Bài viết liên quan

Tesla Lên Kế Hoạch Ra Nhiều Sản Phẩm AI Hơn Tại Trung Quốc, Tận Dụng Hơn 400 Nhà Cung Cấp Địa Phương

Theo China Daily, Tesla dự kiến mang thêm các sản phẩm AI và thông minh đến Trung Quốc, với Phó Chủ tịch Grace Tao nhấn mạnh việc công ty tích hợp sâu chuỗi cung ứng tại nước này. Tính đến tháng 3/2026, Tesla hợp tác với hơn 400 nhà cung cấp Trung Quốc, trong đó hơn 60 nhà cung cấp cung cấp cho mạng lưới toàn cầu của hãng, với tỷ lệ nội địa hóa linh kiện tại nhà máy Gigafactory Thượng Hải vượt 95%. Công ty vận hành 588 cửa hàng do hãng trực tiếp quản lý trên 119 thành phố thuộc đại lục Trung Quố

GateNews10phút trước

SoftBank ghi nhận khoản lãi chưa thực hiện 45 tỷ USD từ khoản đầu tư vào OpenAI tính đến cuối tháng 3

Theo ChainCatcher, SoftBank ghi nhận lãi chưa thực hiện lũy kế trị giá 45 tỷ USD từ khoản đầu tư vào OpenAI tính đến hết tháng 3. Tháng 4 năm 2026, công ty đã giải ngân 20 tỷ USD từ các khoản vay chủ yếu để đầu tư vào OpenAI, trong đó 2,5 tỷ USD đã được hoàn trả trong cùng tháng.

GateNews11phút trước

Đại sứ Trung Quốc Xie Feng kêu gọi cạnh tranh AI lành mạnh với Mỹ trước chuyến thăm của Trump

Theo Đại sứ quán Mỹ tại Trung Quốc, Đại sứ Trung Quốc tại Hoa Kỳ Xie Feng đã thảo luận về quan hệ Mỹ–Trung và chuyến thăm sắp tới của Tổng thống Trump tới Trung Quốc trong một cuộc phỏng vấn với Tom O'Connor, phóng viên cấp cao phụ trách chính sách ngoại giao của Newsweek, được phát hành trước chuyến đi.

GateNews21phút trước

EU thảo luận việc tham gia Liên minh Pax Silica do Mỹ hậu thuẫn trong vài tuần tới

Theo Bloomberg, Liên minh châu Âu đang đàm phán để tham gia Pax Silica, một liên minh do Mỹ hậu thuẫn về chất bán dẫn, hạ tầng AI, khoáng sản quan trọng và trung tâm dữ liệu, như một phần nỗ lực nhằm giảm sự phụ thuộc vào Trung Quốc. Ủy ban châu Âu dự kiến cử một quan chức cấp cao sang Mỹ trong vài tuần tới để làm việc về các điều khoản. Động thái này diễn ra trong bối cảnh Thụy Điển và Phần Lan đã gia nhập liên minh, còn EU đang tìm kiếm sự ủng hộ từ Pháp. Các cuộc đàm phán diễn ra gấp rút khi

GateNews31phút trước

Samsung Dự Kiến Sản Xuất Hàng Loạt Các Mô-đun Bộ Nhớ Máy Chủ AI CXL 3.1 Vào Quý 4

Theo The Korea Herald, Samsung Electronics dự kiến bắt đầu sản xuất hàng loạt các module nhớ CXL 3.1 cho máy chủ AI vào quý IV, sau các lô mẫu được giao trong quý III. Module CMM-D 3.1 tích hợp DRAM và bộ điều khiển CXL trên một bo mạch, hỗ trợ lên tới 1 terabyte với băng thông 72 gigabyte mỗi giây trên PCIe 6.0. Trước đó, Samsung đã gửi các mẫu CXL 2.0 tới hơn 40 công ty, bao gồm Microsoft và Amazon.

GateNews41phút trước

Cựu nhà nghiên cứu AI của Alibaba Linjun Lin ra mắt phòng thí nghiệm AI mới với trị giá khoảng 2 tỷ USD

Theo The Information, Linjun Lin, cựu nhà nghiên cứu AI tại Alibaba, gần đây đã thành lập một phòng thí nghiệm trí tuệ nhân tạo mới. Startup này được ước tính có giá trị khoảng 2 tỷ USD.

GateNews43phút trước
Bình luận
0/400
Không có bình luận