2,5x raskere på samme kort er tallet Unsloth oppgir for Qwen3.6-27B med de nye NVFP4-quantene, sluppet 10. juli. For MoE-varianten Qwen3.6-35B-A3B er tallet 1,7x på 32 GB VRAM, og på et B200-kort måler Unsloth opptil 17 561 tokens i sekundet. Tallene er leverandørens egne.
Mekanismen forklarer både gevinsten og forbeholdet. NVFP4 kjører 4-bits vekter og selve matrisemultiplikasjonen på Blackwells FP4-tensorkjerner, altså W4A4, der NVIDIAs egne quants av samme modell bruker W4A16 og regner aktiveringene i 16 bit. Det er derfor Unsloths variant dekoder raskere. Men det betyr også at «kjør raskere på GPU-en du allerede har», som flere gjenfortellinger av nyheten formulerer det, bare stemmer hvis kortet ditt er Blackwell. Et RTX 4090 eller A100 har ikke FP4-tensorkjerner å regne på.
Det er én felle verdt å kjenne til før du starter serveren: Marlin-kernels støtter ikke W4A4 godt, og slår du dem på, får du 2,5x dårligere ytelse i stedet for 2,5x bedre. Unsloth peker på CUTLASS, FlashInfer-TRTLLM eller Cute-DSL. Vektene er kalibrert på Unsloths eget datasett blandet med UltraChat, og selskapet oppgir at det har kjørt MMLU-Pro, AIME 2025 og GPQA mot både FP8 og BF16 for å måle kvalitetstapet.
Hva bør du gjøre?
- Sjekk arkitekturen på kortet ditt først. Uten Blackwell er dette ikke en oppgradering, og du bør bli på de vanlige 4-bits quantene.
- Deaktiver Marlin eksplisitt i vLLM eller SGLang før du måler. Ellers måler du en 2,5x degradering og tror quantene er dårlige.
- Kjør din egen kvalitetssjekk på oppgaven du faktisk bruker modellen til. Benchmark-tallene er Unsloths, og 4-bits aktiveringer er et mer aggressivt kutt enn vanlig vektkvantisering.