PrismML lança o Bonsai 27B, o primeiro modelo com 27 bilhões de parâmetros rodando no iPhone com 3,9 GB

De acordo com a Decrypt, a PrismML lançou o Bonsai 27B em 16 de jul., o primeiro modelo de IA com 27 bilhões de parâmetros para rodar em smartphones de consumo. O modelo é compactado para 3,9GB e roda em um iPhone 17 Pro Max a 11 tokens por segundo. A técnica de compressão reduz os pesos do modelo da precisão de ponto flutuante de 16 bits para valores ternários (1 positivo ou -1 negativo), fazendo com que a variante binária fique 14 vezes menor do que a versão em precisão total.

O CEO da PrismML, Babak Hassibi, confirmou que a empresa está em discussões iniciais com a Apple sobre a tecnologia de compressão. O modelo é lançado sob a licença Apache 2.0, com planos de compactar o Gemma em seguida.