Tập đoàn Mỹ đang áp dụng định tuyến mô hình (model routing) để kiểm soát chi tiêu cho trí tuệ nhân tạo, khi CFO và hội đồng quản trị siết chặt các khoản chi AI kém hiệu quả. Sự thay đổi nhằm giải quyết một vấn đề phát sinh sau hai năm mặc định dùng các mô hình AI mạnh nhất cho mọi truy vấn, bất kể mức độ phức tạp. Chi phí AI hiện đang chạy nhanh hơn nhiều so với ngân sách, khiến các công ty đặt câu hỏi liệu mọi tác vụ đều cần đến các mô hình “tiền tuyến” (frontier). Định tuyến mô hình sẽ ghép tác vụ với mô hình phù hợp: các bài toán phức tạp được chuyển tới hệ thống frontier đắt đỏ, còn các tác vụ thường nhật chuyển sang lựa chọn rẻ hơn. Cách làm này có tiềm năng làm thay đổi động lực định giá trong ngành AI.
Model Routing Ghép Tác Vụ Với Hệ Thống AI Có Chi Phí Phù Hợp
Định tuyến mô hình là công cụ điều hướng các bài toán khó tới các mô hình frontier đắt tiền và các tác vụ dễ tới những lựa chọn rẻ hơn, nhanh hơn. Scott Wu, CEO của Cognition — công ty tạo ra tác nhân mã hóa Devin — cho biết các doanh nghiệp có thể đạt hiệu quả chi phí tốt hơn gấp 5 đến 10 lần cho công việc thường nhật bằng cách dùng các mô hình vẫn đủ năng lực cho từng tác vụ. Wu đưa ví dụ khi yêu cầu một mô hình nêu tên tổng thống thứ ba của Hoa Kỳ — bất kể chi phí, mỗi mô hình đều sẽ trả lời Thomas Jefferson.
Arvind Jain, CEO của Glean, ước tính khoảng 95% mức sử dụng AI trong doanh nghiệp hiện nay đang chạy trên các mô hình frontier đắt nhất, kể cả với các tác vụ mà lựa chọn rẻ hơn hoàn toàn có thể xử lý. Theo các lãnh đạo được phỏng vấn trong tuần này, hầu hết công ty hiện vẫn không định tuyến.
Cisco Báo Cáo Chi Phí AI Hằng Năm 900 Triệu USD Cho 90.000 Nhân Viên
Jeetu Patel, giám đốc phụ trách sản phẩm (chief product officer) tại Cisco, đã cung cấp các con số chi phí cụ thể. Với mức sử dụng token vào khoảng 200 USD cho mỗi nhân viên mỗi tuần, tổng chi tiêu hằng năm đạt khoảng 10.000 USD cho mỗi người. Với 90.000 nhân viên của Cisco, con số này tương đương 900 triệu USD mỗi năm.
Patel cho biết Cisco đã chi vượt đáng kể so với ngân sách của chính mình và buộc phải điều chỉnh. Hiện công ty có 30.000 kỹ sư đang xây dựng sản phẩm, chủ yếu dựa trên AI. Cisco đã tái phân bổ nguồn lực, ưu tiên token hơn so với các khoản chi khác.
Cognition Ra Mắt Cam Kết Nâng Cao Năng Suất AI Trị Giá 10 Triệu USD
Cognition công bố cam kết năng suất AI để đáp ứng lo ngại của khách hàng về hiệu quả đầu tư (return on investment). Nếu Devin mang lại ít giá trị kỹ thuật hơn so với số tiền khách hàng đang trả, Cognition sẽ tài trợ chi phí sử dụng lên tới 10 triệu USD cho đến khi hiệu suất đạt kỳ vọng. Wu định vị cam kết này như một cách để tập trung vào đầu ra (output) thay vì các chỉ số về hoạt động như số token tiêu thụ hoặc số dòng mã.
Việc chuyển sang định tuyến mô hình tạo áp lực cho OpenAI và Anthropic, vốn có mô hình kinh doanh và kỳ vọng IPO dựa trên nhu cầu rất lớn ở mức giá cao. Nếu các công ty chuyển phần lớn công việc thường nhật với khối lượng lớn sang các mô hình mã nguồn mở rẻ hơn, các phòng thí nghiệm frontier chỉ nhận thanh toán cho các tác vụ phức tạp. Patel cho biết công nghệ tiên tiến sẽ vẫn có giá trị, nhưng dự đoán mô hình định giá sẽ thay đổi: các phòng thí nghiệm cần cải thiện hiệu quả thay vì đơn giản là tính giá cao hơn.
FAQ
Định tuyến mô hình trong hệ thống AI là gì?
Định tuyến mô hình là công cụ ghép tác vụ với các mô hình AI phù hợp dựa trên mức độ phức tạp. Nó gửi các bài toán khó tới các mô hình frontier đắt tiền và điều hướng các tác vụ thường nhật tới những lựa chọn rẻ hơn, nhanh hơn. Scott Wu của Cognition cho biết các công ty có thể đạt hiệu quả chi phí tốt hơn gấp 5 đến 10 lần cho công việc thường nhật bằng cách áp dụng hướng tiếp cận này.
Cisco chi bao nhiêu mỗi năm cho AI đối với lực lượng lao động của mình?
Cisco chi khoảng 900 triệu USD mỗi năm cho AI đối với 90.000 nhân viên. Jeetu Patel, chief product officer của Cisco, đã tính ra con số này dựa trên mức sử dụng token vào khoảng 200 USD cho mỗi nhân viên mỗi tuần, tương đương khoảng 10.000 USD cho mỗi người mỗi năm.
