2,5 ganger raskere inferens enn standard NVFP4. Det er tallet Unsloth oppgir for de kvantiserte utgavene av Qwen3.6 som ble sluppet 10. juli 2026, ifølge Creative AI News. Med innebygd multi-token-prediksjon (MTP) og spekulativ dekoding oppgir Unsloth ytterligere 1,4 til 2,2 ganger.
NVFP4 bruker 4-bits vekter og 4-bits aktiveringer (W4A4), et format som kjører nativt på FP4-tensorkjernene i NVIDIAs Blackwell-kort. Der ligger gevinsten: dette er ikke bare komprimering av vektene, men et regneformat maskinvaren regner i direkte. Unsloth oppgir at de bruker dynamisk kvantisering per lag og FP8-kalibrering av KV-cachen for å holde presisjonen oppe, og rapporterer bedre verktøykalling og agent-oppførsel enn tidligere kvanter.
For deg med et 24 GB-kort betyr det at en 27B-modell kjører på interaktiv hastighet på egen maskin. 35B-A3B er en mixture-of-experts som aktiverer rundt 3 milliarder parametre per token, altså kvalitet fra en større modell med latensen til en mindre, på 32 GB. Agent-løkker, batch-omskrivinger og kodeassistanse som ellers går mot et API med målerklokke, kan flyttes hjem.
Hva bør du gjøre?
- Hent sjekkpunktet som matcher kortet ditt: Qwen3.6-27B-NVFP4 for 24 GB, eller 35B-A3B-NVFP4-Fast for 32 GB. Kjører du allerede vLLM eller SGLang, er dette et rent modellbytte.
- Bytt backend hvis du kjører Marlin. Unsloth oppgir at den gir 2,5 ganger tregere kjøring med disse byggene, og anbefaler CUTLASS, Flashinfer-TRTLLM eller cute-DSL i stedet.
- Mål mot din egen oppgave før du bytter permanent. Tallene kommer fra Unsloth selv og er ikke uavhengig verifisert.