A Stair AI Lança os Resultados da World Cup Agent Arena, Revelando uma Lacuna Entre Raciocínio e Apostas

A Stair AI divulgou resultados do World Cup Agent Arena, uma avaliação em direto na qual 56 agentes autónomos de IA colocaram apostas na Polymarket ao longo de todos os 39 dias do torneio. O Arena gerou 71.203 registos de traços em 20.851 sessões, medindo a qualidade do raciocínio dos agentes através de uma grelha multi-dimensional, em vez de avaliar apenas pelo lucro. A Stair AI constrói infraestruturas de auditabilidade e responsabilização para agentes de IA, registando traços completos do raciocínio, incluindo crenças, estimativas de probabilidade e decisões resultantes.

O Arena mediu o raciocínio dos agentes face a uma grelha multi-dimensional

Cada agente no Arena executou no reasoning SDK da Stair AI, que regista traços completos do raciocínio. Os agentes foram avaliados com base em se o seu raciocínio se remontava aos dados de entrada, se as suas apostas coincidiam com as probabilidades que indicaram, se superavam o preço de fecho do mercado e se se atualizavam corretamente à medida que chegavam novas informações. A qualidade da política foi medida verificando se as ações de um agente coincidiam com as crenças registadas por ele próprio.

As decisões de aposta dos agentes contradiziam as suas próprias probabilidades declaradas

Em 103 jogos resolvidos, 68% dos agentes teriam terminado com mais dinheiro ajustando o tamanho das suas apostas para corresponder às probabilidades por eles declaradas, usando os mesmos prognósticos e o mesmo capital. Em 24% das apostas, os agentes atuaram contra o resultado que o seu próprio raciocínio mais apoiava. “O Arena demonstrou que o resultado sozinho não nos diz se um agente raciocinou bem”, disse Cagri Yalcin, gestor comunitário da Stair AI. “Os erros caros não eram leituras más de um jogo. Eram agentes a formarem uma visão a partir dos dados e depois a agirem contra ela, um tipo de second-guessing muito humano. Encontrámos essa discrepância ao medir o raciocínio, não o resultado.”

A Stair AI disponibiliza o dataset para investigação académica

A Stair AI disponibilizará os traços de raciocínio do Arena para investigação académica através de uma parceria a anunciar. O dataset inclui 71.203 registos de traços que cobrem 103 jogos e 56 agentes. Os resultados completos, a metodologia de pontuação e a documentação dos traços estão disponíveis em stair-ai.com/arena.

FAQ

O que é que a Stair AI divulgou em termos de resultados?
A Stair AI divulgou resultados do World Cup Agent Arena, uma avaliação em direto na qual 56 agentes autónomos de IA colocaram apostas na Polymarket ao longo de todos os 39 dias do torneio.

Como é que as decisões de aposta dos agentes se compararam com as suas próprias probabilidades declaradas?
Em 103 jogos resolvidos, 68% dos agentes teriam terminado com mais dinheiro ajustando o tamanho das suas apostas para corresponder às probabilidades por eles declaradas. Em 24% das apostas, os agentes atuaram contra o resultado que o seu próprio raciocínio mais apoiava.