llama.cpp v0.6.0 gir opptil 3x raskere batch-dekoding på Mac og kjører GLM-5.3-Flash

119,7 tokens i sekundet med åtte samtidige sekvenser: så raskt kjører Qwen3.8-27B i Q4_0 på en M3 Ultra i llama.cpp v0.6.0, mot 38,6 i forrige bygg. Versjonen ble publisert på GitHub 5. oktober, og ifølge release-notatene gir de nye Metal-kjernene opptil rundt tre ganger raskere matrisemultiplikasjon på Apple-GPU-er.

Forklaringen ligger i PR #29869. Når du kjører spekulativ dekoding eller flere sekvenser samtidig, multipliserer modellen vektene med 2 til 16 rader om gangen. På M1 til M4, som mangler Apples tensor-API, gikk dette gjennom mat-vec-kjerner der tiden vokser for hver rad. De nye kjernene dekvantiserer hver vekt én gang for alle radene. Med én sekvens er farten uendret (32,9 t/s), så gevinsten kommer når du serverer flere brukere eller agenter fra samme maskin.

«På en M3 Ultra er DFlash2-dekoding av Qwen3.8-27B derfor tregere enn seriell dekoding på master.» — beskrivelsen av PR #29869 til llama.cpp

Den andre store nyheten er modellstøtte. GLM-5.3-Flash fra Z.ai, en hybrid tekst- og bildemodell på 320 milliarder parametere, kjører nå i llama.cpp. Z.ai sitt eget modellkort nevner ikke llama.cpp blant rammeverkene for lokal kjøring, bare SGLang, vLLM, TokenSpeed, Transformers, KTransformers og Unsloth.

«Med 320 milliarder parametere totalt og bare 18 milliarder aktive slår den GLM-5.2 på tvers av benchmarks og reelle arbeidslaster, til en tiendedel av prisen» — Z.ai, i modellkortet for GLM-5.3-Flash

Qwen4Exp-arkitekturen får multi-token prediction (MTP) som spekulativ dekoding. I PR-en som la det til, målt med Qwen3.8-Flash-Next i iq4_xs på DGX Spark, steg dekodingen fra 28,36 til 43,88 tokens i sekundet over 24 testoppgaver, en økning på 1,55 ganger.

For deg som bygger mot C-API-et er llama_batch_ext den viktigste endringen. Den nye batch-API-en med llama_process() tar både tokens og embeddings i samme batch, og eksemplene, serveren og mtmd er allerede flyttet over. Sesjonsformatet er samtidig hevet til LLAMA_SESSION_VERSION 11. Serveren får et nytt /v1/systemone-endepunkt for beslutningsmodeller som laya, julia-1 og kev, og web-grensesnittet kan nå laste ned modeller fra Hugging Face og anslå om de får plass i minnet ditt.

Hva bør du gjøre?

1. Kjør llama-batched-bench med -npl 1,2,4,8 før og etter oppdateringen på Mac-en din, så ser du om gevinsten gjelder din modell og kvantisering.
2. Test MTP på Qwen3.8-Flash-Next med --spec-type draft-mtp --spec-draft-n-max 3, flaggene PR-forfatteren brukte i målingene.
3. Bygger du egen kode mot llama.h, les API-endringene i release-notatene og test lagrede sesjoner før du ruller ut, siden sesjonsformatet har fått nytt versjonsnummer.