O roteamento de modelo surge como solução de controle de custos de IA para empresas, pressionando OpenAI e Anthropic

Segundo a CNBC, líderes de IA, incluindo Scott Wu, CEO da Cognition, e Jeetu Patel, CPO da Cisco, revelaram nesta semana que o roteamento de modelos — uma solução que atribui tarefas aos modelos de IA mais adequados com base na complexidade — está se tornando uma disciplina crucial de custos na América corporativa.

Atualmente, cerca de 95% do uso de IA nas empresas recorre a modelos de fronteira caros mesmo para tarefas rotineiras, segundo Arvind Jain, CEO da Glean. O roteamento de modelos poderia entregar uma eficiência de custos 5 a 10 vezes melhor em trabalhos de boilerplate usando alternativas mais baratas. A análise de custos da Cisco reforça a pressão: com US$ 200 de consumo por token por funcionário semanalmente, a empresa enfrenta aproximadamente US$ 900 milhões em gastos anuais com IA para seus 90.000 funcionários. Se as empresas passarem a rotear, com mais frequência, tarefas fáceis e de alto volume para modelos mais baratos ou de código aberto, a OpenAI e a Anthropic receberiam pagamento apenas pelo trabalho complexo, o que pode remodelar os modelos de precificação nos quais as duas empresas basearam suas avaliações.