Độ chính xác của GPT-5.4 giảm từ 100% xuống 54% trên ARC-AGI sau nhiều lần tóm tắt bộ nhớ

Theo Beating, một nghiên cứu gần đây về bộ nhớ tác nhân của Dylan Zhang, nghiên cứu sinh tại Đại học Illinois, cho thấy việc tóm tắt lặp đi lặp lại các trải nghiệm của mô hình có thể làm suy giảm hiệu suất thay vì cải thiện nó. Ở các tác vụ ARC-AGI, GPT-5.4 đạt độ chính xác 100% trên 19 bài toán khi không dùng bộ nhớ, nhưng sau nhiều vòng nén bộ nhớ dựa trên các lộ trình lời giải đúng, độ chính xác giảm xuống còn 54%. Tương tự, trong các tác vụ mua sắm WebShop, phương pháp bộ nhớ AWM đạt 0,64 với 8 lộ trình chuyên gia nhưng giảm xuống 0,20 với 128 lộ trình, rồi quay về mức cơ sở. Nghiên cứu cho rằng vấn đề xuất phát từ việc tóm tắt quá mức: mỗi bước trừu tượng hóa sẽ làm mất các chi tiết cụ thể và gộp các quy tắc riêng cho từng tác vụ vào hướng dẫn chung, cuối cùng làm suy giảm hiệu suất của mô hình.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận