NVIDIAs Puzzle krymper 120B-modellen til 75B og dobler gjennomstrømningen

75 milliarder parametere, ned fra 120. Det er regnestykket i Nemotron-3-Puzzle, som NVIDIA slapp 11. juli, omtalt av Ground Truth. Antall aktive parametere faller samtidig fra 12,8 til 9,3 milliarder. Vektene ligger på Hugging Face. Foreldremodellen er Nemotron 3 Super, den åpne 120B-modellen Pulsen omtalte tidligere.

Selve poenget er ikke en smartere modell, men en billigere. «Puzzle» er en beskrivende tittel: i stedet for ett grovt grep stabler NVIDIA flere kjente komprimeringsteknikker oppå hverandre. Modellen beskjæres i tre dimensjoner samtidig (hvilke eksperter et MoE-lag beholder, hvor mange parametere som fyrer per token, og modellens Mamba-lag), og det bekrefter at arkitekturen er hybrid, med state space-lag ved siden av attention. Oppå det kommer distillasjon, forsterkningslæring for å hente inn tapt evne, kvantisering til 4-bits NVFP4, og et hode som gjetter flere tokens per steg.

Det siste tallet er det som betyr noe i praksis. Å servere en modell med én million tokens kontekst spiser minne, fordi cachen over alt modellen har lest må ligge et sted. Når modellen krymper og kvantiseres hardt, frigjøres nok minne til at ett H100-kort kan holde åtte slike samtaler i lufta samtidig i stedet for én. Det treffer nøyaktig de arbeidslastene som er dyrest å kjøre: lange dokumenter, store kodebaser og agenter som kjører over tid.

Forbeholdet er verdt å ta med. Både ytelses- og nøyaktighetstallene er NVIDIAs egne, målt under betingelser selskapet selv har valgt, og «beholder god nøyaktighet nedstrøms» er en oppsummering, ikke en garanti. Komprimering koster alltid noe, og hvor en 75B-destillasjon faktisk er svakere enn foreldremodellen på 120B, viser seg først når andre kjører den mot sine egne arbeidslaster. For deg som bygger, er det her verdien ligger: modellene som havner i produksjon er sjelden frontier-modellene, men de komprimerte utgavene du har råd til å la stå og kjøre.