Coinbase сокращает расходы на ИИ почти вдвое, делая модели с открытым весом опцией по умолчанию

По данным BlockBeats, генеральный директор Coinbase Брайан Армстронг заявил 27 июня, что ключ к поддержанию стабильных затрат на ИИ при экспоненциальном росте использования токенов — не ограничение использования, а применение более качественных моделей по умолчанию и механизмов кэширования. Coinbase по умолчанию использует модели с открытым весом, такие как GLM 5.2 и Kimi 2.7, через свой LLM-шлюз, при этом продолжая поощрять инженеров выбирать подходящие модели для конкретных задач. Компания отметила, что 91% сотрудников никогда не достигали лимита использования, поэтому вместо снижения квот она перешла на более дешёвые модели по умолчанию.

Coinbase внедрила обработку запросов с учётом кэша и интеллектуальную маршрутизацию моделей на основе показателей попадания в кэш. Например, после оптимизации реализации кэша показатель попадания в кэш LibreChat вырос с 5% до 60%. Благодаря этим практикам Coinbase сократила расходы на ИИ почти вдвое, в то время как использование токенов продолжает расти.