Uma religião amarga: a guerra santa em torno da expansão da lei realizada pela inteligência artificial

A comunidade de inteligência artificial está envolvida em uma disputa sobre seu futuro e se tem escala suficiente para criar a doutrina de Deus.

Escrito por: Mario Gabriele

Compilado por Block unicorn

A Santa Guerra da Inteligência Artificial

Prefiro viver minha vida como se houvesse um Deus, só para descobrir na morte que Deus não existe, do que viver como se não houvesse um Deus, só para descobrir na morte que Deus existe. - Blaise Pascal

A religião é algo interessante. Talvez porque seja completamente indemonstrável em qualquer direção, ou talvez como a minha frase favorita: “Não podes confrontar emoções com factos.”

As características da fé religiosa são que, à medida que a fé aumenta, elas se desenvolvem em uma velocidade incrível, a ponto de quase não se poder duvidar da existência de Deus. Como se pode duvidar da existência de um ser divino quando as pessoas ao seu redor acreditam cada vez mais nele? Onde há espaço para a heresia quando o mundo se reorganiza em torno de uma doutrina? Onde há espaço para a oposição quando templos e catedrais, leis e normas são todos organizados de acordo com um novo e inabalável evangelho?

Quando o cristianismo apareceu pela primeira vez e se espalhou por todo o mundo, ou quando o budismo se espalhou da Índia para toda a Ásia, o tremendo impulso da fé criou um ciclo de autoreforço. À medida que mais pessoas se convertiam e desenvolviam sistemas teológicos complexos e rituais em torno dessas crenças, questionar essas premissas básicas se tornava cada vez mais difícil. Em um oceano de credulidade, ser considerado herege não era fácil. Igrejas grandiosas, escrituras religiosas complexas e mosteiros prósperos serviam como evidências físicas da existência divina.

Mas a história da religião também nos diz quão fácil é para tais estruturas entrarem em colapso. Conforme o cristianismo se espalhava pela península escandinava, a antiga fé nórdica desmoronava em apenas algumas gerações. O sistema religioso do antigo Egito perdurou por milênios, mas acabou desaparecendo com o surgimento de uma nova e mais duradoura crença e o surgimento de estruturas de poder maiores. Mesmo dentro da mesma religião, vemos divisões dramáticas - a Reforma dividiu o cristianismo ocidental, e o Grande Cisma levou à divisão entre a Igreja do Oriente e a do Ocidente. Essas divisões muitas vezes começam com disputas doutrinárias aparentemente insignificantes e evoluem para sistemas de crenças completamente diferentes.

Sagrado

Deus é uma metáfora que transcende todos os níveis de pensamento intelectual. É assim tão simples. - Joseph Campbell

Em termos simples, acreditar em Deus é religião. Talvez criar Deus não seja diferente.

Desde o seu nascimento, os pesquisadores otimistas de inteligência artificial imaginaram o seu trabalho como a criação de Deus. Nos últimos anos, o desenvolvimento explosivo de grandes modelos de linguagem (LLMs) tem reforçado ainda mais a crença dos fiéis de que estamos a seguir um caminho sagrado.

Também confirmou um artigo de blog escrito em 2019. Embora as pessoas fora do campo da inteligência artificial só tenham recentemente tomado conhecimento disso, ‘The Bitter Lesson’ do cientista da computação canadense Richard Sutton tornou-se um texto cada vez mais importante na comunidade, evoluindo de um conhecimento obscuro para uma base religiosa nova e abrangente.

Entre os 1.113 caracteres (cada religião tem seus números sagrados), Sutton resumiu uma observação tecnológica: ‘A maior lição aprendida em 70 anos de pesquisa em inteligência artificial é que a abordagem computacional geral é, em última análise, a mais eficaz e representa uma enorme vantagem.’ O avanço dos modelos de inteligência artificial é impulsionado pelo aumento exponencial dos recursos computacionais, impulsionado pela grande onda da Lei de Moore. Ao mesmo tempo, Sutton observa que grande parte do trabalho de pesquisa em inteligência artificial se concentra na otimização de desempenho por meio de técnicas especializadas - aumentando o conhecimento humano ou ferramentas estreitas. Embora essas otimizações possam ser úteis a curto prazo, Sutton acredita que, no final das contas, elas são uma perda de tempo e recursos, como ajustar as nadadeiras de uma prancha de surf ou experimentar uma nova cera em meio a uma enorme onda.

Esta é a base do que chamamos de “religião amarga”. Há apenas uma regra, geralmente referida como a “lei da expansão”, na comunidade: o cálculo impulsionado pelo crescimento exponencial de desempenho; o resto é tolo.

A religião amarga se expandiu de modelos de linguagem de grande escala (LLMs) para modelos mundiais e agora está se espalhando rapidamente para templos não transformados, como biologia, química e inteligência incorporada (robótica e veículos autônomos).

No entanto, à medida que a disseminação da teoria de Sutton ocorria, a definição também começou a mudar. Isso é um sinal de todas as religiões ativas e vigorosas - debate, expansão, comentário. A ‘Lei da Expansão’ não significa mais apenas expansão de cálculo (a Arca não é apenas um navio), mas agora se refere a vários métodos destinados a melhorar os transformadores e o desempenho computacional, incluindo algumas técnicas.

Atualmente, o clássico abrange tentativas de otimizar cada parte da pilha AI, desde técnicas aplicadas ao próprio modelo central (como a combinação de modelos, mesclagem de especialistas (MoE) e destilação de conhecimento) até a geração de dados sintéticos para alimentar esses deuses sempre famintos, com muitas experiências pelo caminho.

Facções em Guerra

Recentemente, uma questão levantada na comunidade de inteligência artificial, com um ar de guerra santa, é se a ‘religião amarga’ ainda está correta.

Esta semana, um novo artigo intitulado ‘A Lei da Expansão da Precisão’ foi publicado pela Universidade de Harvard, Universidade Stanford e Instituto de Tecnologia de Massachusetts, desencadeando este conflito. O artigo discute o fim dos ganhos de eficiência da tecnologia quantitativa, uma série de técnicas que melhoram o desempenho dos modelos de inteligência artificial e são benéficos para o ecossistema de código aberto. Tim Dettmers, cientista de pesquisa do Instituto de Inteligência Artificial de Allen, esboçou a sua importância no post abaixo, referindo-se a ele como ‘o artigo mais importante em muito tempo’. Isso representa uma continuação das discussões que se intensificaram nas últimas semanas e revela uma tendência notável: a crescente consolidação de duas religiões.

O CEO da OpenAI, Sam Altman, e o CEO da Anthropic, Dario Amodei, pertencem à mesma escola de pensamento. Ambos estão confiantes de que alcançaremos a Inteligência Artificial Geral (IAG) em cerca de 2 a 3 anos no futuro. Altman e Amodei podem ser considerados as duas figuras mais dependentes da sacralidade da ‘religião amarga’. Todas as suas medidas de incentivo tendem a prometer em excesso, criando a maior agitação possível para acumular capital neste jogo quase totalmente dominado pela economia de escala. Se a regra de expansão não é ‘alfa e ômega’, o que você precisa de 220 bilhões de dólares para fazer?

Ilya Sutskever, ex-chefe cientista da OpenAI, defende um conjunto diferente de princípios. Ele e outros pesquisadores (incluindo muitos pesquisadores internos da OpenAI, de acordo com informações recentemente vazadas) acreditam que a expansão está se aproximando do limite. Esse grupo acredita que será necessário novas ciências e pesquisas para manter o progresso e trazer a AGI para o mundo real.

Sutskever sensatamente aponta que a ideia de extensão contínua da facção Altman não é economicamente viável. Como pergunta Noam Brown, pesquisador de inteligência artificial: ‘Realmente precisamos treinar modelos que custem centenas de bilhões ou mesmo trilhões de dólares?’ Isso sem incluir os custos adicionais de cálculo para inferência, que podem chegar a bilhões de dólares adicionais se expandirmos os cálculos da fase de treinamento para a fase de inferência.

Mas os verdadeiros crentes estão muito familiarizados com os argumentos dos oponentes. Os missionários à porta da sua casa podem facilmente lidar com o seu dilema hedonista. Para Brown e Sutskever, a facção de Sutskever aponta para a possibilidade de expandir o ‘cálculo durante o teste’. Ao contrário do que tem sido feito até agora, ‘cálculo durante o teste’ não se baseia em cálculos maiores para melhorar o treinamento, mas sim em utilizar mais recursos para a execução. Quando um modelo de inteligência artificial precisa responder às suas perguntas ou gerar um código ou texto, ele pode fornecer mais tempo e cálculo. Isso é equivalente a desviar sua atenção de estudar matemática para convencer o professor a lhe dar mais uma hora e permitir que você use uma calculadora. Para muitas pessoas no ecossistema, essa é a nova fronteira da ‘religião amarga’, já que as equipes estão se afastando do treinamento prévio ortodoxo em direção a métodos de pós-treinamento / inferência.

É fácil apontar brechas em outros sistemas de crenças e criticar outras doutrinas sem revelar sua própria posição. Então, qual é a minha própria fé? Em primeiro lugar, acredito que o atual lote de modelos proporcionará um retorno sobre o investimento muito alto ao longo do tempo. À medida que as pessoas aprenderem a contornar restrições e aproveitar APIs existentes, veremos experiências de produtos verdadeiramente inovadoras surgirem e terem sucesso. Vamos ultrapassar os estágios esqueumórficos e incrementais dos produtos de IA. Não devemos pensar nela como “inteligência geral artificial” (IAG) por causa das falhas nessa definição, mas sim como “inteligência mínima viável” que pode ser adaptada a diferentes produtos e casos de uso.

Quanto à realização da superinteligência artificial (ASI), é necessária mais estrutura. Definições e divisões mais claras ajudarão a discutir de forma mais eficaz o equilíbrio entre o valor econômico e os custos econômicos que cada uma pode trazer. Por exemplo, a AGI pode fornecer valor econômico para alguns usuários (apenas um sistema de crença local), enquanto a ASI pode apresentar efeitos compostos imparáveis e mudar o mundo, nossos sistemas de crenças e nossa estrutura social. Não acredito que a expansão de transformadores seja suficiente para alcançar a ASI; mas, infelizmente, como algumas pessoas podem dizer, esta é apenas minha crença ateu.

Fé Perdida

A comunidade de inteligência artificial não pode resolver essa guerra santa a curto prazo; não há fatos para apresentar nessa batalha emocional. Pelo contrário, devemos focar em quais são as implicações da inteligência artificial questionar sua crença na expansão da lei. A perda dessa crença pode desencadear uma reação em cadeia que vai além dos grandes modelos de linguagem (LLMs), afetando todas as indústrias e mercados.

É importante salientar que na maioria dos campos de inteligência artificial/aprendizado de máquina, ainda não exploramos completamente a lei da expansão; haverá mais milagres no futuro. No entanto, se surgir realmente dúvidas, será mais difícil para investidores e construtores manterem a mesma confiança elevada no estado de desempenho final de categorias como biotecnologia e robótica, que são ‘early curve’. Em outras palavras, se virmos grandes modelos de linguagem começando a desacelerar e se desviando do caminho escolhido, muitos fundadores e investidores verão seu sistema de crenças em áreas adjacentes desmoronar.

Se isso é justo é outra questão.

Há uma visão de que a ‘Inteligência Artificial Geral’ naturalmente precisa de uma escala maior, portanto, a ‘qualidade’ dos modelos especializados deve ser demonstrada em uma escala menor, para que eles não encontrem gargalos antes de fornecer valor real. Se um modelo em um domínio específico apenas consome uma parte dos dados e, portanto, requer apenas uma parte dos recursos de computação para ser viável, então ele não deveria ter espaço suficiente para melhorias? Isso faz sentido intuitivamente, mas descobrimos repetidamente que o ponto crucial nem sempre está aqui: dados relevantes ou aparentemente irrelevantes muitas vezes podem melhorar o desempenho de modelos aparentemente irrelevantes. Por exemplo, incluir dados de programação parece ajudar a melhorar a capacidade de raciocínio mais ampla.

A longo prazo, o debate sobre o modelo de especialização pode ser irrelevante. Qualquer pessoa que esteja construindo uma IA superinteligente (ASI) provavelmente tem como objetivo final criar uma entidade capaz de se autoreplicar e se aprimorar, com infinita criatividade em todas as áreas. Holden Karnofsky, ex-membro do conselho da OpenAI e fundador da Open Philanthropy, chama essa criação de “PASTA” (um processo de automação científica e avanço tecnológico). O plano original de lucro de Sam Altman parece depender de princípios semelhantes: “Construir uma AGI e depois perguntar como obter retorno dela.” Esta é a inteligência artificial apocalíptica, é o destino final.

O sucesso de grandes laboratórios de IA como OpenAI e Anthropic inspirou o mercado de capitais a apoiar entusiasticamente laboratórios semelhantes ao ‘OpenAI’ no campo ‘X’, com o objetivo de construir ‘AGI’ em torno de uma indústria ou campo vertical específico. Essa decomposição de escala levará a uma mudança de paradigma, afastando-se da simulação da OpenAI e movendo-se em direção a empresas centradas em produtos - uma possibilidade que apresentei na conferência de 2023 da Compound.

Ao contrário dos modelos de fim do mundo, essas empresas devem mostrar uma série de avanços. Eles serão empresas construídas com base em problemas de engenharia em escala, em vez de organizações científicas de pesquisa aplicada, com o objetivo final de construir produtos.

Na área da ciência, se você sabe o que está fazendo, então não deve estar fazendo isso. Na área da engenharia, se você não sabe o que está fazendo, então você também não deve estar fazendo isso. - Richard Hamming

Os fiéis dificilmente perderão sua fé sagrada a curto prazo. Como mencionado anteriormente, com o aumento das religiões, elas compilaram um roteiro de vida e adoração e um conjunto de métodos inspiradores. Construíram monumentos e infraestruturas físicas, fortalecendo seu poder e sabedoria, mostrando que ‘sabem o que estão fazendo’.

Na recente entrevista, Sam Altman falou sobre AGI, dizendo o seguinte (o foco é em nós):

Esta é a primeira vez que realmente sabemos o que devemos fazer. Ainda há muito trabalho a ser feito desde agora até construir uma AGI. Sabemos que há algumas incógnitas conhecidas, mas penso que basicamente sabemos o que fazer, e isso vai levar tempo; será difícil, mas também muito emocionante.

Julgamento

Ao questionar ‘O Amargo da Religião’, os céticos estão fazendo um dos debates mais profundos dos últimos anos. Todos nós já tivemos esse tipo de pensamento em algum momento. O que aconteceria se inventássemos Deus? Quão rapidamente esse Deus apareceria? E se a AGI (Inteligência Artificial Geral) realmente e irreversivelmente surgisse, o que aconteceria?

Como todos os tópicos desconhecidos e complexos, rapidamente armazenamos nossas próprias reações específicas em nossos cérebros: alguns desesperados para torná-los irrelevantes, a maioria antecipando uma mistura de destruição e prosperidade, e alguns prevendo que os seres humanos farão o que fazemos de melhor, continuar a procurar problemas para resolver e resolver os problemas que criamos, alcançando assim a prosperidade pura.

Qualquer pessoa com grandes interesses quer ser capaz de prever como será o mundo para eles se a Lei de Moore continuar a ser válida e a AGI chegar nos próximos anos. Como você servirá a este novo deus, e como ele servirá a você?

Mas e se o evangelho estagnado afastar os otimistas? E se começarmos a pensar que até Deus pode declinar? Em um artigo anterior, intitulado ‘FOMO de robôs, lei de escala e previsão tecnológica’, eu escrevi:

Às vezes eu me pergunto o que aconteceria se a lei da expansão não fosse verdadeira, se isso teria um efeito semelhante à perda de receita, desaceleração do crescimento e aumento das taxas de muitos setores tecnológicos. Às vezes eu também me pergunto se a lei da expansão é completamente verdadeira, se isso seria semelhante à curva de mercantilização de muitos outros setores pioneiros e sua obtenção de valor.

“O bom do capitalismo é que gastamos muito dinheiro tentando descobrir isso, não importa o que aconteça.”

Para fundadores e investidores, a questão é: o que acontece a seguir? Candidatos em todas as verticais que têm o potencial de serem grandes construtores de produtos estão gradualmente se tornando conhecidos. Haverá mais dessas pessoas na indústria, mas a história já está começando a se desenrolar. De onde vêm as novas oportunidades?

Se a expansão estagnar, prevejo uma onda de falências e fusões. As empresas restantes cada vez mais concentrarão seus esforços em engenharia, uma evolução que podemos prever acompanhando o fluxo de talentos. Já vimos alguns sinais de que a OpenAI está seguindo nessa direção, pois está cada vez mais comercializando seus produtos. Essa mudança abrirá espaço para as empresas iniciantes da próxima geração fazerem ultrapassagens em curvas, dependendo da pesquisa e ciência aplicada inovadora, em vez de engenharia, para superar as empresas existentes em suas tentativas de abrir novos caminhos.

Lições religiosas

Minha visão sobre tecnologia é que qualquer coisa que pareça ter um efeito de juros compostos geralmente não dura muito tempo, e um ponto comum que todos acreditam é que qualquer negócio que pareça ter um efeito de juros compostos estranhamente se desenvolve a uma velocidade e escala muito abaixo do esperado.

Os primeiros sinais de divisão religiosa geralmente seguem padrões previsíveis, que podem ser usados como estrutura para rastrear a evolução de ‘Religião Amarga’.

Normalmente começa com interpretações competitivas, seja por razões capitalistas ou ideológicas. No início do cristianismo, diferentes pontos de vista sobre a divindade de Cristo e a natureza da Trindade levaram a divisões e interpretações bíblicas completamente diferentes. Além da divisão mencionada anteriormente sobre IA, há outras fissuras emergentes. Por exemplo, vemos alguns pesquisadores de IA rejeitando a visão ortodoxa central do transformador e se voltando para outras arquiteturas, como modelos de espaço de estado, Mamba, RWKV, modelos líquidos, entre outros. Embora essas sejam apenas sugestões por enquanto, elas mostram o surgimento de pensamentos hereges e a vontade de repensar os princípios fundamentais neste campo.

Com o tempo, as palavras impacientes dos profetas também podem levar à desconfiança das pessoas. Quando as previsões dos líderes religiosos não se concretizam, ou a intervenção divina não chega como prometido, a semente da dúvida é plantada.

O movimento Millerita previu o retorno de Cristo em 1844, mas quando Jesus não chegou como planeado, o movimento desmoronou. No mundo da tecnologia, muitas vezes enterramos silenciosamente previsões fracassadas e permitimos que os nossos profetas continuem a pintar versões otimistas e de longo prazo do futuro, apesar de prazos perdidos repetidamente (olá, Elon). No entanto, a fé na Lei de Moore também pode enfrentar um colapso sem o suporte do aprimoramento contínuo do desempenho do modelo original.

Uma religião corrupta, obesa ou instável é facilmente influenciada por apóstatas. A Reforma Protestante não avançou apenas por causa das visões teológicas de Lutero, mas também por ter surgido durante a decadência e agitação da Igreja Católica. Quando as instituições dominantes começam a rachar, os pensamentos ‘heréticos’ de longa data de repente encontram solo fértil.

No campo da inteligência artificial, podemos estar interessados em modelos menores ou métodos alternativos que alcançam resultados semelhantes com menos cálculos ou dados, como o trabalho realizado por laboratórios de empresas chinesas e equipes de código aberto (como a Nous Research). Aqueles que quebrarem os limites da inteligência biológica e superarem obstáculos que antes eram considerados intransponíveis também podem criar uma nova narrativa.

Uma forma direta e altamente atual de observar a transformação é acompanhar as tendências dos profissionais. Antes de qualquer cisão formal, estudiosos religiosos e clérigos geralmente mantêm opiniões heterodoxas em particular, mas se mostram obedientes em público. O fenômeno correspondente hoje pode ser alguns pesquisadores de IA que seguem a lei da expansão na superfície, mas secretamente buscam métodos radicalmente diferentes, esperando o momento certo para desafiar o consenso ou sair de seus laboratórios em busca de teorias mais amplas.

O problema com a ortodoxia da religião e da tecnologia é que elas costumam estar parcialmente corretas, mas não tão universalmente corretas como os devotos mais fiéis acreditam. Assim como a religião incorpora verdades básicas da humanidade em seu quadro metafísico, a lei da generalização clara descreve claramente a realidade da aprendizagem da rede neural. A questão é se essa realidade é completamente e invariavelmente como a atual onda de entusiasmo sugere e se essas instituições religiosas (laboratórios de inteligência artificial) são suficientemente flexíveis e estratégicas para liderar os fanáticos juntos. Ao mesmo tempo, construir uma impressora que permita que o conhecimento seja disseminado (interface de bate-papo e API), permitindo que seu conhecimento seja divulgado.

Fim do jogo

“A religião é real aos olhos do povo, falsa aos olhos dos sábios e útil aos olhos dos governantes.” - Lúcio Anneo Sêneca

Uma visão possívelmente desatualizada das instituições religiosas é que, uma vez que atingem um certo tamanho, elas tendem a sucumbir ao ímpeto de sobrevivência, tentando sobreviver na competição, como muitas organizações humanas. Nesse processo, elas negligenciam o motivo da verdade e da grandeza (que não são mutuamente excludentes).

Já escrevi um artigo sobre como o mercado de capitais pode se tornar uma câmara de eco impulsionada pela narrativa e os mecanismos de incentivo muitas vezes permitem que essas narrativas continuem. O consenso da Lei de Crescimento dá às pessoas uma sensação sinistra - um sistema de crenças arraigado que é elegante matematicamente e extremamente útil na coordenação de implantações de capital em grande escala. Assim como muitos quadros religiosos, pode ser mais valioso como um mecanismo de coordenação do que como uma verdade fundamental.