6,82 aksepterte tokens per fremoverpass. Det er tallet Nvidia oppgir for sin nye modell Nemotron-Labs-Diffusion i selv-spekulativ modus, mot 2,75 for Eagle3. Poenget er ikke tallet i seg selv, men at det oppnås uten en separat draft-modell: samme sjekkpunkt drafter en blokk tokens med en diffusjonssti og verifiserer dem så autoregressivt, og deler KV-cachen mellom stegene.
Spekulativ dekoding kutter latens 2-3x ved at en liten draft-modell foreslår tokens som den store målmodellen verifiserer i ett parallelt pass. Prisen har alltid vært drift: to modeller betyr dobbel GPU-minnebruk, draft og mål må dele nøyaktig samme tokenizer, og finjusterer du målmodellen, driver draft-modellen ut av kurs og må trenes på nytt. Nemotron slår begge sammen til én, uten egen draft-modell, uten tokenizer-mismatch og uten ekstra VRAM.
Modusen velges ved inferens via én config-parameter, uten å laste modellen på nytt. Autoregressiv modus gir vanlig venstre-til-høyre-generering og passer når kvalitet veier tyngst. Diffusjonsmodus avstøyer flere token-posisjoner parallelt og egner seg for batch-jobber med høy gjennomstrømning. Selv-spekulasjon lar diffusjon drafte mens autoregresjon verifiserer over en delt KV-cache, og er den raskeste for latenssensitiv servering.
Caveatene er verdt å lese før du bygger en plan rundt tallene. Dette er en preprint skrevet av Nvidia selv, uten uavhengig fagfellevurdering, og gjennomstrømnings-tallet på 4x over Qwen3-8B er målt på GB200-maskinvare, ikke H100 eller A100 som de fleste har. Kvaliteten er konkurransedyktig, ikke et sprang: 82,4 % på HumanEval og 78,9 % på GSM8K, på linje med Qwen3-8B og Llama-3.1-8B. Du kjøper raskere token-generering, ikke bedre resonnering.
Hva bør du gjøre?
- Kjører du batch-inferens i stor skala og har unngått spekulativ dekoding på grunn av draft-modell-styret, test 8B-instruct-varianten
nvidia/Nemotron-Labs-Diffusion-8Bpå Hugging Face. - Kjører du allerede Eagle3 med en godt innstilt draft-modell i produksjon, vent på uavhengige benchmarks på maskinvaren du faktisk har før du migrerer.