PrismML Bonsai 27B: 1-bit og ternære versjoner av Qwen3.6-27B kjører på laptop og telefon

Konvensjonelle «2-bit»-modeller kollapser når du presser dem under fire bits: IQ2_XXS-bygget av Qwen3.6-27B faller til 57,5 på AIME26 og 56,4 på LiveCodeBench, mens korte kunnskapstester som MMLU-Redux fortsatt viser 88,93 og skjuler raset. PrismMLs nye Bonsai 27B tar en annen vei: den ternære varianten beholder 94,6 prosent av FP16-modellens kvalitet på 5,9 GB, og 1-bit-varianten 89,5 prosent på 3,9 GB.

Bonsai 27B er ikke en ny modell. PrismML har tatt Qwen3.6-27B og byttet ut vektene: den ternære bruker verdiene {-1, 0, +1} ved 1,71 bits per vekt, mens 1-bit-varianten bruker binære {-1, +1} ved 1,125 bits. Arkitekturen er urørt, begge variantene er multimodale, og kontekstvinduet er på 262 000 tokens. Alt ligger under Apache 2.0 og kjører på llama.cpp (CUDA, Metal) og MLX.

PrismML hevder 1-bit-bygget er den første modellen i 27B-klassen som får plass på en telefon. Poenget er minne, ikke lagring: iOS gir én app tilgang til omtrent halvparten av fysisk RAM, så en iPhone med 12 GB stiller reelt bare rundt 6 GB til rådighet. Med et 4-bit KV-cache og det lille minnefotavtrykket kjører 1-bit-varianten på en iPhone 17 Pro Max på 11 tokens i sekundet, og hvitboken måler 672 tokens per prosent batteri.

>_ NØKKELTALL

3,9 GB: 1-bit binær, beholder 89,5 % av FP16

5,9 GB: ternær, beholder 94,6 % av FP16

9,4 GB: konvensjonell «2-bit» (IQ2_XXS), faller til 72,7

Hva bør du gjøre?

Vil du teste på laptop, start med den ternære varianten (5,9 GB): den er standard i demo-repoet og gir best kvalitet per gigabyte.
Kjør den via llama.cpp med den OpenAI-kompatible serveren eller mlx_lm.generate på Apple Silicon; verktøykall bruker standard OpenAI-format.
Skal modellen på telefon, velg 1-bit-bygget, men regn med at agent- og verktøykall er der tapet er størst (66,0 mot 80,0 på FP16).