Nemotron 3.5 Bolt E4B: NVIDIAs 4 GB-modell for lokale taleagenter kjører 133 tokens/s på RTX 5070

På instruksjonshierarki-testen IHEval får Nemotron 3.5 Bolt E4B 84,8 poeng mot 60,6 for Qwen 3.5 4B. På Tau2-Bench, som måler flertrinns kundeoppgaver, snur det: Qwen får 75,1 og NVIDIAs nye modell 55,1. NVIDIA slapp modellen 23. oktober på Hugging Face og build.nvidia.com, og tallene står i selskapets lanseringsblogg og modellkort.

Bolt E4B er Googles Gemma 4 E4B trent videre av NVIDIA med forsterkningslæring (RLVR og RLHF via NeMo-RL og NeMo-Gym). Modellen har 8 milliarder parametere, hvorav 4 milliarder effektive, og leveres kvantisert til Q4_K_M i GGUF på rundt 4 GB. Den har 64k kontekst, en bryter for resonnering og en egen «conversational mode» som gir korte, taleklare svar. NVIDIA oppgir støtte for 35 språk, og norsk (språkkoden no) står i modellkortets språkliste.

NVIDIA begrunner modellen med at de vanlige ledertavlene måler feil ting for tale- og enhetsagenter.

«En modell som er god på agentisk koding, er ofte ikke det beste valget for en rask hjemmeassistent som er morsom å samhandle med» — NVIDIA, i lanseringsbloggen

Testbatteriet er derfor satt sammen av persona, instruksjonsfølging og forankring i kontekst. I snitt scorer Bolt E4B rundt 40 prosent høyere enn forgjengeren Nemotron 3 Nano 4B og rundt 10 prosent over de andre modellene NVIDIA sammenlignet med. Med resonnering påslått bruker den opptil 80 prosent færre output-tokens enn konkurrentene. To av testene, Brevity Bench og When2Call-MT, har NVIDIA laget selv og ikke publisert ennå.

Hastighetstallene er målt med llama.cpp på CUDA, batch size 1, med 3 000 input-tokens og 50 output-tokens. På et RTX 5070 med 12 GB bruker modellen 3,5 GB VRAM og leverer første token etter 548 ms. Jetson Orin Nano trenger 5 785 ms.

Svakhetene viser seg der agenten må holde tråden over mange steg eller lange dokumenter. På RULER med 64k kontekst får Bolt E4B 87,0 mot Qwens 95,1, og på LongBench v2 50,5 mot 59,9. Asynkrone verktøykall krever også en omvei.

«Bolt-E4Bs chat-mal tillater foreløpig ikke løse verktøysvar» — NVIDIA, i modellkortet på Hugging Face

Modellkortet viser hvordan du likevel får det til. NVIDIA legger også ved en DFlash-drafter for spekulativ dekoding, som gir opptil 21 prosent høyere throughput enn Gemma 4 E4Bs egen MTP-drafter. Lisensen er OpenMDW-1.1, og modellen er klarert for kommersiell bruk.

Hva bør du gjøre?

1. Hent GGUF-filen fra Hugging Face og kjør den med llama-server og --jinja, eller via Ollama eller LM Studio, som NVIDIA også lister som kanaler.
2. Slå på DFlash-drafteren med --spec-type draft-dflash hvis svartiden på RTX-kortet ditt er for lang.
3. Kjør dine egne flertrinns verktøykjeder mot både Bolt E4B og Qwen 3.5 4B før du velger, siden gapet på Tau2-Bench er 20 poeng.