PrismML lanza Bonsai 27B: el modelo de IA de 3,9 GB se ejecuta en iPhone

PrismML lanzó Bonsai 27B a principios de esta semana: un modelo de IA con 27 mil millones de parámetros, comprimido a 3,9 GB, que funciona en un iPhone 17 Pro Max a 11 tokens por segundo. La variante ternaria conserva el 94,6% del rendimiento medio de los benchmarks de precisión completa mientras cabe en las limitaciones de memoria de un smartphone, marcando la primera vez que un modelo de este nivel de capacidad ha superado el presupuesto de memoria de un dispositivo de consumo. El método de compresión, basado en propiedad intelectual de Caltech, reduce cada peso del modelo de 16 bits a un único valor con signo, dejando la variante binaria en 1,125 bits por peso: 14 veces más pequeña que el original de precisión completa.

La tecnología de compresión reduce los pesos del modelo a valores con signo

El método de compresión reduce cada peso del modelo de 16 bits de precisión en coma flotante a un solo signo—+1 o -1 en la versión binaria, uno de tres valores en la variante ternaria. Cada grupo de 128 pesos comparte un factor de escala de 16 bits. La variante ternaria añade un estado de cero para un poder expresivo ligeramente mayor y se sitúa en 1,71 bits por peso. La variante ternaria, en 5,9 GB, alcanza alrededor de 26 tokens por segundo en un portátil M5 Pro.

No existe una “salida” de mayor precisión: las incrustaciones, la atención y toda la cabeza del modelo de lenguaje están comprimidas de extremo a extremo. La mayoría de las versiones cuantizadas mantienen ciertas capas sensibles a la precisión completa, lo que aumenta su tamaño como intercambio por una mejor calidad. El modelo usa un backbone de atención híbrido en el que aproximadamente el 75% de las capas son lineales, en lugar de una atención cuadrática completa, haciendo práctica una ventana de contexto de 262K tokens en el dispositivo.

En marzo, PrismML envió Bonsai 8B, un modelo de 1,15 GB que demostró que la arquitectura de 1 bit podía resistir con 8 mil millones de parámetros. Ambos modelos son gratuitos bajo la licencia Apache 2.0.

El rendimiento en benchmarks promedia 80,49 en 15 pruebas

En 15 benchmarks evaluados en modo de pensamiento en GPUs NVIDIA H100—que abarcan conocimiento, matemáticas, programación y uso de herramientas—Ternary Bonsai 27B promedia 80,49, o el 94,6% del modelo de precisión completa. La variante de 1 bit alcanza 76,11. AIME25 y AIME26, modeladas sobre la American Invitational Mathematics Examination, llegan al 93,7% para Ternary Bonsai 27B frente al 95,3% de Qwen 3,6B. Bonsai obtiene 86 puntos en programación frente a 88 de Qwen 3,6 y un 77% en conocimiento general frente al 83% de Qwen 3,6.

PrismML envía junto al modelo una capa de decodificación especulativa DSpark: un “drafter” ligero que propone bloques de tokens candidatos, que el modelo principal verifica en una sola pasada hacia adelante en lugar de generar token por token. En un H100, añade una mejora de rendimiento de 1,37x sin cambios en la calidad de salida. En Apple Silicon, aún no está habilitado por defecto.

Las pruebas en el mundo real producen código funcional y escritura creativa

El equipo probó Bonsai 27B con un juego de Zombie Type—un juego de navegador de terror de mecanografía en primera persona. Dos rondas de codificación produjeron una detección de colisiones limpia, lógica de puntuación correcta y gráficos que se mantuvieron consistentes. El modelo entiende la estructura desde el principio; la segunda pasada refina en lugar de reconstruir. Algunos modelos parecían más elaborados que los de GPT 5.6 Sol.

Para escritura creativa, Bonsai produce historias con lógica interna, ritmo y arco consistentes—a la par con Claude Haiku o incluso Sonnet, con menor esfuerzo en prompts comparables. Los resultados no son particularmente imaginativos con prompts de cero-shot.

Apple evalúa la tecnología para uso en el dispositivo

Apple está en conversaciones tempranas con PrismML sobre la tecnología subyacente de compresión, según CNBC. El CEO de PrismML, Babak Hassibi, confirmó a CNBC que la compañía está en conversaciones iniciales con Apple, que evalúa la tecnología de compresión para un posible uso en el dispositivo. Hassibi dijo que un modelo comprimido de Gemma es lo siguiente en la hoja de ruta, seguido por modelos de frontera más grandes.

Preguntas frecuentes

¿Cuál es el modelo Bonsai 27B de PrismML?
Bonsai 27B es un modelo de IA con 27 mil millones de parámetros, comprimido a 3,9 GB, que funciona en un iPhone 17 Pro Max a 11 tokens por segundo. La variante ternaria retiene el 94,6% del rendimiento de los benchmarks de precisión completa usando una tecnología de compresión construida sobre propiedad intelectual de Caltech que reduce los pesos del modelo a valores con signo.

¿Cómo rinde Bonsai 27B en benchmarks?
En 15 benchmarks evaluados en GPUs NVIDIA H100, Ternary Bonsai 27B promedia 80,49, o el 94,6% del modelo de precisión completa. En pruebas matemáticas AIME obtiene 93,7%, en tareas de programación obtiene 86 puntos y en conocimiento general obtiene 77%—todo ello requiriendo mucha menos memoria que modelos comparables.