9,9 GB i minnet, 370 GB på disk. Det er regnestykket bak Colibri, publisert på GitHub under brukeren JustVugg, som aldri laster modellen inn. Motoren holder bare den tette delen resident, rundt 17 milliarder parametere i int4, og streamer de rutede ekspertene fra disk etter hvert som rutingen ber om dem. Uten BLAS, uten Python i kjøretid, uten GPU.
Mekanismen hviler på at GLM 5.2 er en Mixture-of-Experts-modell. Bare rundt 40 milliarder parametere aktiveres per token, og av dem er det bare rundt 11 GB som faktisk skifter fra token til token. Colibri utnytter det med en LRU-cache per lag, et valgfritt fastpinnet lager for de hyppigste ekspertene, og operativsystemets page cache som gratis andrenivå. Prosjektet ble opprettet 1. juli, og har ni dager senere 850 stjerner og Apache-2.0-lisens.
Så kommer regningen, og README-en er uvanlig ærlig om den:
«Dette er ikke raskt. Det er en frontlinjemodell på 744B som svarer riktig på en maskin som koster mindre enn viften på ett H100-kort.» — README, JustVugg/colibri
Kald dekoding leser rundt 11 GB fra disk per token, altså 75 lag ganger åtte eksperter. Med et disktak rundt 1 GB/s gir det 0,05 til 0,1 tokens i sekundet. Et svar på 500 tokens tar da mellom halvannen og tre timer. I Hacker News-tråden, der prosjektet fikk over 500 poeng, er nettopp dette hovedinnvendingen:
«0,05 til 0,1 tokens i sekundet, slik det rapporteres for den laveste maskinklassen, er ikke egentlig brukbart til stort.» — walrus01, Hacker News
Samme kommentator påpeker at lokale modeller på 1 token i sekundet fint kan settes til jobber som får gå over natten. To størrelsesordener lavere er noe annet. En annen leser noterer tørt at 24 GB RAM og en halv terabyte NVMe ikke er noe alle har liggende.
Tallene er heller ikke ett tall. 0,05 til 0,1 tokens i sekundet er gulvet, målt kaldt mot tilfeldige lesninger på en virtuell disk. En kommentator oppgir rundt 1 token i sekundet på en Mac med M5 Max, og hevder samtidig at det konkurrerende prosjektet flash-moe passerer 5 tokens i sekundet på en M3 Max med 48 GB. Ingen av de tallene er uavhengig verifisert.
Med varm cache, fastpinnede eksperter og modellens egen multi-token-prediksjon faller ventetiden merkbart. Det hodet må kjøre i int8: i int4 kollapser draft-aksepten til mellom 0 og 4 prosent og spekulasjonen kobler seg aldri inn, mens int8 gir 39 til 59 prosent aksept og 2,2 til 2,8 tokens per forward-pass. De tallene er målt av fellesskapet i issue #8, ikke av utvikleren, og README-en legger til sitt eget forbehold: på kald cache ruter hvert verifiserte utkast til flere eksperter, rundt 1 100 mot 660 ekspertlastinger per token, så spekulasjon kan koste mer tid enn den sparer før cachen er varm.
For norske byggere flytter Colibri grensen for hva «for stor til å kjøre lokalt» faktisk betyr. Disken er nå det trege leddet, ikke minnet.
Hva bør du gjøre?
- Mål lesehastigheten på disken din før du setter av 370 GB. Kald dekoding trekker rundt 11 GB per token, så en NVMe på 1 GB/s låser deg til 0,05 til 0,1 tokens i sekundet uansett hvor mye RAM du har.
- Kjør draft-hodet i int8 hvis du skrur på spekulativ dekoding. I int4 faller draft-aksepten til mellom 0 og 4 prosent, og gevinsten uteblir helt.
- Regn Colibri som en batchmotor, ikke en chat. Et svar på 500 tokens tar halvannen til tre timer kaldt, så oppgaver som tåler å gå over natten er der modellen faktisk gjør nytte.