Ramp Labs đề xuất một giải pháp mới để chia sẻ trí nhớ giữa nhiều tác nhân, mức tiêu thụ Token cao nhất giảm 65%

Tin Gate News, ngày 11 tháng 4, công ty cơ sở hạ tầng AI Ramp Labs công bố kết quả nghiên cứu “Latent Briefing”, đạt được chia sẻ bộ nhớ hiệu quả giữa các hệ đa tác tử thông qua việc nén trực tiếp bộ nhớ đệm KV của mô hình lớn, đồng thời giảm mạnh mức tiêu thụ Token mà không làm mất chính xác. Trong các kiến trúc đa tác tử phổ biến, bộ điều phối (Orchestrator) tách nhỏ nhiệm vụ và liên tục gọi đi gọi lại mô hình làm việc (Worker); khi chuỗi suy luận ngày càng kéo dài, lượng Token tăng theo cấp số nhân. Ý tưởng cốt lõi của Latent Briefing là sử dụng cơ chế chú ý để nhận diện phần thực sự quan trọng trong ngữ cảnh, rồi loại bỏ thông tin dư thừa ngay ở lớp biểu diễn, thay vì dựa vào bản tóm tắt của LLM vốn chậm hoặc truy xuất RAG kém ổn định. Trong bài kiểm thử chuẩn LongBench v2, phương pháp này thể hiện ấn tượng: lượng Token tiêu thụ của mô hình Worker giảm 65%, mức tiết kiệm Token cho các tài liệu độ dài trung bình (32k đến 100k) đạt trung vị 49%, độ chính xác tổng thể tăng khoảng 3 điểm phần trăm so với đường cơ sở, trong khi thời gian phát sinh cho mỗi lần nén chỉ khoảng 1,7 giây, nhanh hơn thuật toán gốc khoảng 20 lần. Thí nghiệm sử dụng Claude Sonnet 4 làm bộ điều phối và Qwen3-14B làm mô hình làm việc, bao phủ nhiều kịch bản tài liệu như bài báo học thuật, văn bản pháp lý, tiểu thuyết và báo cáo của chính phủ. Nghiên cứu cũng phát hiện rằng ngưỡng nén tối ưu thay đổi theo độ khó của nhiệm vụ và độ dài tài liệu—các bài toán khó phù hợp với nén mạnh để lọc nhiễu suy luận mang tính đầu cơ, còn tài liệu dài thì phù hợp hơn với nén nhẹ để lưu giữ các thông tin then chốt được phân tán.