Coinbase скорочує витрати на ШІ майже вдвічі, робить моделі з відкритою вагою опцією за замовчуванням

За даними BlockBeats, генеральний директор Coinbase Браян Армстронг заявив 27 червня, що ключ до підтримки стабільних витрат на ШІ при експоненційному зростанні використання токенів полягає не в обмеженні використання, а в застосуванні кращих стандартних моделей і механізмів кешування. Coinbase через свій LLM-шлюз за замовчуванням використовує моделі з відкритою вагою, такі як GLM 5.2 та Kimi 2.7, водночас заохочуючи інженерів обирати відповідні моделі для конкретних завдань. Компанія зазначила, що 91% співробітників ніколи не перевищують ліміти використання, тому замість зниження квот вона перейшла на дешевші стандартні моделі.

Coinbase впровадила обробку запитів із урахуванням кешу та інтелектуальну маршрутизацію моделей на основі частоти влучень у кеш. Наприклад, після оптимізації кешування частота влучень у кеш LibreChat зросла з 5% до 60%. Завдяки цим практикам Coinbase скоротила витрати на ШІ майже вдвічі, тоді як використання токенів продовжує зростати.