Inteligência Concentrada: Nova Família de Modelos Bonsai AI Permite IA de Alto Desempenho Além do Data Center

Em Breve

A PrismML surgiu do modo oculto e lançou a Bonsai, um pequeno modelo de IA open source que evidencia uma forte inteligência para o seu tamanho e consegue ser executado em hardware de consumo.

A PrismML, laboratório de investigação em IA sediado na Califórnia, revelou uma nova família de modelos Bonsai de 1-bit, concebida para disponibilizar inteligência avançada diretamente aos dispositivos onde as pessoas vivem e trabalham, em vez de confinar a IA a grandes centros de dados

Nascida da investigação realizada na Caltech, a PrismML afirmou que o seu trabalho se centra em maximizar a “densidade de inteligência”, uma medida da capacidade útil que um modelo consegue entregar por unidade de tamanho e pegada de implementação. Esta abordagem contrasta com o desenvolvimento tradicional de IA, que normalmente dá prioridade ao aumento do tamanho do modelo e da contagem de parâmetros, à custa da capacidade de implementação e da eficiência.

O modelo de topo do laboratório, o 1-bit Bonsai 8B, apresenta um design totalmente de 1-bit em todos os componentes, incluindo embeddings, camadas de atenção, camadas de MLP e a cabeça de saída, sem camadas de retrocompatibilidade com maior precisão. Com 1,15 GB, o modelo é aproximadamente 14 vezes mais pequeno do que modelos comparáveis de 16-bit na mesma classe de parâmetros, ainda assim a PrismML relata que mantém um desempenho competitivo em benchmarks standard. O tamanho reduzido permite a implementação em dispositivos como iPhones, iPads e Macs, bem como em GPUs standard, proporcionando inferência mais rápida e menor utilização de memória do que modelos tradicionais de grande escala.

A PrismML sublinha que a inovação não é apenas sobre desempenho, mas também sobre onde a IA pode operar. Modelos menores e eficientes permitem aplicações com menor latência, maior privacidade através de computação no dispositivo e funcionalidade contínua em ambientes offline ou com largura de banda limitada

As aplicações potenciais incluem agentes persistentes no dispositivo, robótica em tempo real, copilot de empresas e ferramentas nativas de IA concebidas para contextos seguros ou com recursos limitados. A PrismML defende que a inteligência concentrada alarga o espaço de design para a IA, tornando os sistemas mais responsivos, fiáveis e amplamente implementáveis.

A expandir a Bonsai: Modelos menores de 1-bit estendem a eficiência e a inteligência a dispositivos de margem

Além da Bonsai 8B, a PrismML apresentou modelos mais pequenos, a Bonsai 4B e a 1.7B de 1-bit, que estendem os mesmos princípios de eficiência e densidade de inteligência para tamanhos de modelo reduzidos. Demonstrações iniciais mostram elevada capacidade de processamento (throughput), eficiência energética e precisão competitiva em benchmarks ao longo da família. O laboratório também referiu que os modelos funcionam de forma eficaz em hardware comercial atual e que dispositivos futuros otimizados para inferência de 1-bit poderão proporcionar ganhos de eficiência ainda maiores.

O lançamento da PrismML representa uma mudança mais ampla no desenvolvimento de IA, dando ênfase à inteligência concentrada e à portabilidade em vez da mera escala. O laboratório imagina um futuro em que a IA avançada opera de forma fluida entre dispositivos na nuvem e na margem (edge), tornando sistemas inteligentes acessíveis onde quer que sejam necessários. Os modelos Bonsai de 1-bit estão disponíveis sob a licença Apache 2.0, suportando a implementação em dispositivos Apple, GPUs NVIDIA e uma variedade de outras plataformas.