llama.cpp får MTP for Qwen3.8-Flash-Next: 1,55 ganger raskere decode på DGX Spark

Uten hjelp genererer Qwen3.8-Flash-Next 28,4 tokens i sekundet i llama.cpp på en Nvidia DGX Spark. Med multi-token-prediksjon (MTP) slått på er tallet 43,9. Det viser målingene i pull request #29761 fra bidragsyteren am17an, som ble flettet inn i llama.cpp 1. oktober. GitHub-releasen b11330 fra samme dag er bygget på nettopp denne endringen, og den inneholder også #29751, som ifølge PR-teksten rettet en Qwen4Exp-støtte som var ødelagt på master. Testen brukte et lite utvalg på 24 prompter fra speed-bench, kvantiseringen IQ4_XS, opptil tre utkast-tokens per steg og én parallell slot.

Qwen3.8-Flash-Next har et eget MTP-lag på 4 milliarder parametere som er trent til å gjette flere tokens fram. llama.cpp bruker det som draft-modell i spekulativ dekoding: hodet foreslår tokens, hovedmodellen sjekker dem i ett pass og beholder dem som stemmer. I snitt ble 64 prosent av forslagene godtatt, og gevinsten varierer med oppgavetypen:

Koding ligger altså under snittet på 1,55×. For agenter som skriver lange svar er det likevel decode-farten du venter på, og der gir MTP gevinst uten å bytte modell. PR-en, på 289 nye og 55 slettede linjer i 13 filer, erstatter et tidligere forsøk (#28243) som ble lagt bort.

«Ja, dette er den riktige måten å legge det til på, slik jeg ser det, siden det følger de tidligere Qwen-modellene.» — am17an, i PR-tråden

Bakgrunn

Qwen3.8-Flash-Next er Alibabas første åpne modell på arkitekturen som skal bære Qwen4, og llama.cpp kaller arkitekturen Qwen4Exp. Modellen har 125 milliarder parametere med 6 milliarder aktive, pluss 51 milliarder i n-gram-embeddinger og 4 milliarder i MTP-laget. Konteksten er 262 144 tokens, utvidbar til 1 million.

«Denne eksperimentelle forhåndsvisningen av arkitekturen som skal ligge til grunn for Qwen4.» — Qwen-teamet, modellkortet på Hugging Face

Brukere i tråden traff to feller. Eldre MTP-filer feilet med «tensor 'token_embd.weight' not found», fordi et MTP-hode i separat GGUF ikke deler token-embeddingen, og am17an mente filene må kvantiseres på nytt. En bruker med tre GPU-er fikk minnefeil med Q8-hodet på full kontekst. Med 30 000 tokens kontekst gikk genereringen fra rundt 40 til rundt 50 tokens i sekundet, mens 256k-kontekst først fungerte med Q4-hodet og ubatch på 512. Prisen var prompt-prosessering på 300 til 330 tokens i sekundet, mot rundt 850 uten MTP og med større batch.

Hva bør du gjøre?

1. Oppdater llama.cpp til b11330 eller nyere, og hent filene fra ggml-org/Qwen3.8-Flash-Next-GGUF: IQ4_NL er på 102 GB, og MTP-hodet ligger i egne filer på 2,2 GB (Q4_0) og 4,1 GB (Q8_0).
2. Start llama-server med -md mtp-Qwen3.8-Flash-Next-Q4_0.gguf --spec-type draft-mtp --spec-draft-n-max 3, og mål mot en kjøring uten flaggene på dine egne prompter.
3. Går du tom for minne på lang kontekst, bruk Q4-hodet og senk -ub til 512, slik det løste seg for brukeren i tråden.