据 Decrypt 报道,PrismML 于 7 月 16 日发布 Bonsai 27B,这是首个可在消费级智能手机上运行的 270 亿参数 AI 模型。该模型已被压缩至 3.9GB,并在 iPhone 17 Pro Max 上以每秒 11 个 token 的速度运行。压缩技术将模型权重的 16-bit 浮点精度降低为三元值(正 1 或负 1),使得二进制版本比全精度版本小 14 倍。
PrismML 首席执行官 Babak Hassibi 确认,公司正在就该压缩技术与苹果进行初步沟通。该模型在 Apache 2.0 许可下发布,并计划接下来对 Gemma 进行压缩。