Bonsai 27B kjører 27 milliarder vekter på iPhone i 3,9 GB

PrismML oppgir at binærversjonen av Bonsai 27B beholder rundt 90 prosent av referansemodellens treffsikkerhet med én bit per vekt, mens den ternære varianten på 1,58 bit lander på omtrent 95 prosent målt over 15 benchmarks. Selve vektfila krymper samtidig fra de rundt 54 GB en 16-bits utgave krever, til 3,9 GB for binærversjonen og 5,9 GB for den ternære.

Bonsai 27B bygger på Qwen3.6-27B og er multimodal: tekst, bildegjenkjenning, koding, verktøykall og flerstegsinstruksjoner. Vektene ligger åpent på Hugging Face under Apache 2.0, lastet opp av organisasjonen prism-ml tidlig i juli, og gguf-utgaven har allerede passert en million nedlastinger. På Apple-maskinvare kjører den gjennom et modifisert MLX-miljø.

Tallene som betyr noe for deg som vil prøve dette er minnebudsjettet, ikke bare filstørrelsen. De 3,9 GB dekker kun språkdelen. Bildemodulen krever 0,6 til 0,9 GB ekstra, og med 4 000 tokens kontekst havner faktisk forbruk på rundt 5,9 GB på telefonen. Det er en reell begrensning på enheter der operativsystemet allerede spiser en god del av RAM-en.

Ytelsestallene kommer fra PrismMLs egne målinger og er ikke uavhengig verifisert. Elleve tokens i sekundet på telefonen er lesbart, men merkbart tregere enn en skyrespons, så nytten ligger i det du ikke vil sende ut av enheten.

Hva bør du gjøre?

1. Start med den ternære varianten hvis du har minnet til det. Fem prosentpoeng bedre kvalitet for 2 GB ekstra er en billig bytte på en Mac, mindre opplagt på telefon.
2. Regn med bildemodulen i minnebudsjettet fra start. Planlegger du multimodal bruk på iPhone, dimensjoner for 5,9 GB, ikke 3,9 GB.
3. Sammenlign mot Qwen3.6-27B i full presisjon på dine egne oppgaver før du stoler på 90-prosenttallet. Kvantiseringstap fordeler seg ujevnt, og benchmarkgjennomsnitt skjuler hvor det svikter.