«Den ultimate testen blir millioner av spørringer, tusenvis av enhetskombinasjoner og robust testing i skala.» — Tarun Pathak, forskningsdirektør i Counterpoint Research
Så langt er Apple ikke i nærheten av det. Ifølge WinBuzzer er selskapet i tidlige samtaler om å bruke oppstartsselskapet PrismMLs komprimeringsteknologi for større KI-modeller som kjører lokalt på iPhone. Samtalene bekrefter verken partnerskap, oppkjøp eller lansering. PrismML slapp modellen Bonsai 27B i en 1-bit- og en trestegs-variant 14. juli, og gir dermed Apple et konkret artefakt å teste.
Bonsai 27B tilhører Alibabas Qwen-familie og pakkes ned fra rundt 54 GB til 3,9 GB i 1-bit-formatet ved at hver 16-bits vekt erstattes med én bit eller én av tre verdier. PrismML oppgir at modellen bruker 14 ganger mindre minne, kjører opptil åtte ganger raskere og bruker fem ganger mindre energi enn selskapets egen baseline, og når opptil 163 tokens per sekund på et Nvidia RTX 5090. Det tallet er målt på skrivebord, ikke på en telefon.
Prisen er nøyaktighet. PrismML-sjef Babak Hassibi innrømmer et beskjedent tap, der faktahukommelsen svekkes først, før resonnering, matematikk og koding. For deg som bygger lokale modeller er det den avgjørende avveiningen: mindre minne mot en modell som husker fakta dårligere.
Feltet er allerede tett. Googles Gemma 4 E2B er nede i rundt 1 GB, og runtimes som ExecuTorch og MLC dekker flere plattformer. Bonsai 27B er lastbar på Hugging Face i dag, men det finnes ingen Apple-tidsplan. En offentlig modellfil er ikke det samme som noe Apple har bestemt seg for å sende ut.