Xiè Sàinìng: LLM ở một mức độ nào đó là "phản Bitter Lesson", mô hình thế giới mới là tương lai

Thông tin từ CoinWorld, theo theo dõi của 1M AI News, công ty mô hình thế giới AMI Labs, đã huy động thành công 1,03 tỷ USD trong vòng gọi vốn hạt giống, đồng sáng lập kiêm Giám đốc Khoa học kiêm tác giả chung của bài báo Diffusion Transformer (DiT),谢赛宁, đã lần đầu tiên trả lời phỏng vấn công khai dài hạn. Dưới đây là nội dung chính:谢赛宁 hệ thống hóa phê phán tuyến đường AI hiện tại dựa trên mô hình ngôn ngữ lớn (LLM), cho rằng LLM không phản ánh thành công của “Bitter Lesson” (Bài học đắng cay) do Richard Sutton đề xuất, thậm chí còn “ở một mức độ nào đó phản lại Bitter Lesson”. Ông chỉ ra rằng, ngôn ngữ vốn là cấu trúc cao cấp được tinh luyện của nền văn minh nhân loại, tương đương với một “đường tắt”, quá phụ thuộc sẽ hạn chế khả năng AI học hỏi từ thế giới thực. Ông phân biệt rõ giữa mô hình thế giới và mô hình ngôn ngữ: mô hình ngôn ngữ dự đoán “token tiếp theo”, còn mô hình thế giới dựa trên hành động dự đoán “trạng thái tiếp theo”, có khả năng dự đoán hậu quả của hành vi trong giai đoạn suy luận, từ đó thực hiện trí tuệ an toàn và kiểm soát tốt hơn. Ông cũng nói rằng, “AGI là một khái niệm giả”, xây dựng một trí tuệ có thể tồn tại trong thế giới thực còn khó hơn giải quyết các cuộc thi toán học hoặc viết mã.谢赛宁 còn tiết lộ đã hai lần từ chối lời mời của Ilya Sutskever: năm 2018 từ bỏ gia nhập OpenAI để chọn Meta FAIR, năm 2024 lại từ chối lời mời của công ty mới SSI của ông, lý do là sự bất đồng về hướng phát triển đa mô hình và thị giác. Ông cho biết AMI Labs cố ý không đặt văn phòng tại Silicon Valley vì “Silicon Valley đã chìm sâu trong tuyến đường LLM”. Trụ sở công ty đặt tại Paris, thu thập dữ liệu thế giới thực qua các đối tác toàn cầu. Ông cho rằng phương pháp huấn luyện AI đang chuyển từ “tải xuống internet” sang “tải xuống con người”, các ứng dụng ngắn hạn sẽ là kính thông minh AI và robot.