A concorrência em IA evolui do tamanho do modelo para sistemas de roteamento mais eficientes em custos

As empresas de IA estão mudando o foco da concorrência do tamanho dos modelos para sistemas de roteamento mais custo-efetivos, à medida que as empresas saem de testes e avançam para a implantação em produção. O CEO da Perplexity, Aravind Srinivas, disse à CNBC que o modelo sozinho não é mais o produto, destacando sistemas de orquestração que combinam modelos com ferramentas para tarefas específicas. A mudança reflete o aperto nos gastos com IA nos EUA, com as empresas buscando modelos adequados às tarefas, em vez de usar sempre as opções mais caras.

Perplexity Previews System Using Chinese Open Model

A Perplexity divulgou nesta semana um novo sistema para seu produto de uso de computador, construído em torno do GLM 5.2, um modelo aberto da Z.ai, da China. O sistema foi projetado para permitir que um modelo mais barato assuma grande parte do trabalho, chamando um modelo mais forte apenas quando necessário.

"O modelo sozinho não é mais o produto", disse Srinivas à CNBC. "É o ‘harness’, o sistema de orquestração que coloca o modelo dentro de um ‘harness’ bem capaz e combina o modelo com muitas ferramentas."

Os produtos de IA estão se tornando sistemas que podem decidir qual modelo usar, quando usá-lo e quais ferramentas externas ou fontes de dados da empresa são necessárias. Uma tarefa de atendimento ao cliente pode não precisar do modelo mais caro, enquanto um problema complexo de programação pode. Um fluxo de trabalho interno rotineiro poderia rodar em um modelo aberto mais barato, com etapas mais difíceis sendo encaminhadas para opções mais poderosas.

Benchmark Partner Predicts Open-Weight Token Dominance

Modelos de pesos abertos, que podem ser baixados, ajustados (tuned) e executados pelas próprias empresas, estão ficando mais capazes e mais baratos de rodar do que modelos proprietários premium dos maiores laboratórios de IA.

O sócio da Benchmark, Peter Fenton, disse à CNBC que acredita que mais de 90% dos tokens criados virão de modelos de pesos abertos nos próximos 18 a 24 meses, possivelmente até o fim deste ano. Tokens são as unidades de dados que os modelos de IA processam e geram.

"As margens de inferência geradas pelas empresas do modelo de fronteira, eu acho, vão sofrer pressão quando você conseguir executá-los sem a taxa embutida que elas estão aplicando, quando você tiver modelos suficientemente bons vindos de pesos abertos", disse Fenton.

Fenton disse que a mudança para modelos abertos não é apenas para economizar dinheiro. Em alguns casos, modelos menores ajustados para uma tarefa específica podem ser mais rápidos e ter desempenho melhor do que modelos gerais maiores.

Ollama Reports Fortune 500 Adoption Rate

A Benchmark investiu na Ollama, uma empresa que facilita para desenvolvedores e empresas baixar, executar e gerenciar modelos abertos.

O CEO da Ollama, Jeff Morgan, disse que a empresa foi adotada por mais de 85% das empresas da Fortune 500, incluindo companhias em setores regulados, como aviação, seguros e saúde.

"Uma coisa é de onde o modelo vem e de onde ele foi criado e treinado", disse Morgan. "Mas o mais importante para essas empresas com as quais falamos é onde ele roda e como ele roda."

Morgan disse que muitas empresas começam com modelos menores rodando perto dos próprios dados e depois expandem para modelos abertos maiores à medida que ganham mais confiança.

Chinese Labs Create Strategic Competition in Open Models

A ascensão dos modelos abertos cria um desafio estratégico para os EUA. Muitos dos modelos de pesos abertos mais competitivos estão vindo de laboratórios chineses, incluindo Z.ai e DeepSeek. Isso transformou a IA open source em uma questão de negócios, uma questão de políticas e uma questão de competitividade nacional.

Srinivas disse que os EUA deveriam apoiar modelos abertos porque eles tornam a IA mais acessível e mais barata.

"Se você quer que os benefícios da IA sejam distribuídos amplamente para pequenas empresas nos EUA e em países aliados americanos, então você realmente precisa que a IA seja muito mais acessível", disse Srinivas. "E open source é a única forma de fazer isso."

A mudança também pode afetar a enorme expansão de data centers em andamento no setor de tecnologia. O atual boom de IA assume que a demanda continuará indo para grandes data centers de nuvem cheios de chips de ponta. Srinivas diz que algum trabalho de IA pode eventualmente rodar localmente, em dispositivos de consumidores ou empresas.

Isso não eliminaria a necessidade de data centers, mas poderia criar um sistema de IA mais híbrido, com tarefas rotineiras rodando localmente e o trabalho mais difícil sendo enviado para um modelo mais poderoso na nuvem.

FAQ

O que a Perplexity divulgou nesta semana sobre modelos de IA?

A Perplexity divulgou nesta semana um novo sistema para seu produto de uso de computador, construído em torno do GLM 5.2, um modelo aberto da Z.ai, da China. O sistema foi projetado para permitir que um modelo mais barato assuma mais da metade do trabalho, chamando um modelo mais forte apenas quando necessário.

Por que as empresas estão mudando de usar os maiores modelos de IA para sistemas de roteamento?

À medida que as empresas saem de testes de IA para usá-la em produtos e fluxos de trabalho reais, elas precisam acessar modelos que se encaixem melhor em tarefas específicas com o custo adequado, em vez de usar sempre os modelos mais caros. Além disso, a América Corporativa está apertando o cinto nos gastos com IA, fazendo com que a eficiência de custos vire prioridade.

Quantas empresas da Fortune 500 adotaram a Ollama?

O CEO da Ollama, Jeff Morgan, disse que a empresa foi adotada por mais de 85% das empresas da Fortune 500, incluindo companhias em setores regulados, como aviação, seguros e saúde.