PrismML Rilis Bonsai 27B, Model AI 27B Pertama yang Dikompresi hingga 3,9 GB untuk iPhone

Menurut PrismML, perusahaan merilis Bonsai 27B, model AI berparameter 27 miliar yang dikompresi menjadi 3,9 GB, lebih awal pekan ini—cukup kecil untuk dijalankan di iPhone 17 Pro Max dengan kecepatan 11 token per detik. Varian ternernya mempertahankan 94,6% dari performa benchmark berpresisi penuh, sekaligus mengungguli build Qwen low-bit konvensional yang ukurannya hampir dua kali lebih besar dan gagal pada tugas matematika serta pengodean. Varian biner mencapai 1,125 bit per bobot dengan mengkuantisasi parameter model menjadi tanda biner tunggal dengan faktor penskalaan bersama.

Apple sedang dalam pembicaraan awal dengan PrismML terkait teknologi kompresi, menurut CNBC. CEO PrismML Babak Hassibi mengonfirmasi bahwa perusahaan sedang mengevaluasi teknologi tersebut untuk kemungkinan penggunaan di perangkat. Model Gemma yang dikompresi menjadi langkah berikutnya, disusul model frontier yang lebih besar; Bonsai 27B 1-bit tersedia untuk diunduh gratis di bawah Apache 2.0.