Åtte samtidige forespørsler med én million tokens kontekst, på ett enkelt H100-kort. Før komprimeringen var tallet én. NVIDIA oppgir at Nemotron-Labs-3-Puzzle-75B-A9B presser vektene fra rundt 70 GB ned til 44,5 GB i NVFP4-format, og siden attention-lagene står urørt koster hver forespørsel like mye KV-cache som før. Da er det minnet, ikke regnekraften, som slipper opp først.
Utgangsmodellen Nemotron 3 Super har 120,7 milliarder parametere totalt og 12,8 milliarder aktive. Den komprimerte varianten har 75,3 og 9,3 milliarder. Blokkoppsettet er identisk: 88 blokker fordelt på 40 Mamba, 40 MoE og 8 attention. Det er kapasiteten inne i blokkene som er kuttet, gjennom tre grep:
- Kanaler inne i hver rutede ekspert rangeres etter bidrag og beskjæres til lik størrelse per MoE-lag.
- Antall eksperter hvert token rutes til varierer nå per lag, ned fra morsmodellens faste 22 til mellom 4 og 18.
- Mamba-lagenes SSM-tilstand krymper fra 128 til 96 kanaler, noe som alene gir 1,2 til 1,3 ganger raskere SSM-kjerne under dekoding.
Regningen kommer på kvalitet. Arena-Hard-V2 faller 4,2 poeng og SWE-Bench 2,6 poeng mot morsmodellen, mens lange-kontekst-testene RULER og AA-LCR knapt beveger seg. På en full 8xB200-node oppgir NVIDIA mellom 1,60 og 2,14 ganger høyere total gjennomstrømning ved samme brukerhastighet.
Alle tallene er NVIDIAs egne, gjengitt av MarkTechPost, og ingen av dem er uavhengig reprodusert. Tre sjekkpunkter ligger på Hugging Face: BF16, FP8 og NVFP4. Merk hva dette ikke er: en modell for maskinen din. Terskelen er fortsatt et H100-kort. Det interessante for norske byggere er metoden, ikke vektene. Når arkitektursøk kan halvere minnebruken mot noen få poeng på benchmarks, flytter det hvilke modeller som er verdt å selvhoste i det hele tatt.