En modell på 744 milliarder parametre hører normalt hjemme i en serverpark med hundrevis av gigabyte VRAM. Colibrì kjører den på en PC med 25 GB RAM, 12 kjerner og en NVMe-disk. Prosjektet, laget av utvikleren JustVugg og omtalt av Tom's Hardware, er en inferensmotor på rundt 2400 linjer ren C, uten avhengigheter i kjøretid og lisensiert under Apache 2.0. Python brukes kun til en engangs konvertering av vektene.
Trikset ligger i hvordan en Mixture-of-Experts-modell faktisk er bygget. GLM-5.2 har 744 milliarder parametre totalt, men aktiverer bare rundt 40 milliarder per token. Colibrì deler modellen i to: den tette delen (attention-lag, delte eksperter og embeddings, cirka 17 milliarder parametre) ligger permanent i RAM på 9,9 GB i int4, mens de 21 504 rutede ekspertene fordelt på 75 MoE-lag ligger som en int4-container på rundt 370 GB på disk og hentes inn ved behov gjennom en LRU-cache. Diskbåndbredden, ikke RAM-mengden, blir dermed flaskehalsen.
Og den flaskehalsen er ærlig dokumentert. README-en oppsummerer det selv:
«Dette er ikke raskt.» — Colibrì-repoet på GitHub
Kaldstart krever rundt 11 GB disklesing per token, noe som forklarer spennet. Prosjektet bruker MTP-spekulativ dekoding (målt til 2,2 til 2,8 tokens per forward-pass), DSA sparse attention og persistent KV-cache for å dempe kostnaden, men ingenting av dette gjør en diskstrømmet 744B-modell interaktiv.
Diskusjonen på Hacker News, der prosjektet fikk 891 poeng og 230 kommentarer, landet raskt på det samme spørsmålet: er en modell på 0,05 tokens i sekundet noe annet enn en kuriositet? Den mest treffende innvendingen snudde spørsmålet på hodet, og påpekte at lokale modeller på ett token i sekundet har vist seg nyttige når du gir dem en oppgave om kvelden og henter resultatet neste morgen. Ved 0,05 tokens i sekundet snakker vi derimot om timer per avsnitt. En annen kommentar reiste et praktisk poeng ingen benchmark fanger: hva gjør kontinuerlig strømming av hundrevis av gigabyte med SSD-ens levetid?
Interessen er reell uansett. Repoet har 4100 stjerner, og GPU-støtte finnes som eksperimentell CUDA-backend, men ekspert-strømmingen kjører fortsatt på CPU. Kvalitets-benchmarkene er ikke gjort ennå, noe utvikleren selv etterlyser hjelp til.
Hva bør du gjøre?
- Sjekk diskbåndbredden din før du prøver, ikke RAM-mengden. Forskjellen mellom 1 GB/s og 14 GB/s er forskjellen mellom 0,05 og 1,06 tokens i sekundet i utviklerens egne målinger.
- Bruk det som batch-verktøy, ikke chat. En oppgave du kan sette i gang og forlate er den eneste bruksformen tallene forsvarer i dag.