PrismML lanza Bonsai 27B, el primer modelo de 27 mil millones de parámetros que se ejecuta en un iPhone con solo 3,9 GB

Según Decrypt, PrismML lanzó Bonsai 27B el 16 de julio, el primer modelo de IA con 27 mil millones de parámetros que se puede ejecutar en smartphones de consumo. El modelo está comprimido a 3,9 GB y funciona en iPhone 17 Pro Max a 11 tokens por segundo. La técnica de compresión reduce los pesos del modelo desde una precisión de coma flotante de 16 bits hasta valores ternarios (1 positivo o -1 negativo), lo que hace que la variante binaria sea 14 veces más pequeña que la versión de precisión completa.

El CEO de PrismML, Babak Hassibi, confirmó que la empresa está en conversaciones iniciales con Apple sobre la tecnología de compresión. El modelo se publica bajo la licencia Apache 2.0, con planes de comprimir Gemma a continuación.