Ollama 0.32.9 kjører Nemotron 3.5 Lightning med 3B aktive av 30B

30 milliarder parametere på disken, 3 milliarder i arbeid per token. Utgivelsesnotatet for Ollama 0.32.9 lister to endringer: støtte for Nemotron 3-arkitekturen og en rettelse av en grensetilstand i parseren for verktøykall i Muse Glimmer. Kommandoen som gir deg modellen er ollama run nemotron-3.5-lightning.

Nemotron 3.5 Lightning er en åpen mixture-of-experts-modell som NVIDIA beskriver som utførelseslaget i agenter som står på hele tiden. Modellen er laget for kjørerammer som OpenClaw og Hermes Agent, og NVIDIA peker på NemoClaw, sin egen åpne stack for sikkerhet og drift av slike agenter, som miljøet rundt den.

Poenget med et lite aktivt parameterbudsjett er kostnaden per kall når agenten kjører døgnet rundt. Men det aktive laget sier ingenting om maskinen du trenger: alle 30 milliarder vektene må ligge i minnet, selv om bare 3 milliarder regnes ut per token. Parser-rettelsen gjelder Muse Glimmer, Metas 30B-modell, der verktøykall kunne treffe en grensetilstand i tolkningen.

Hva bør du gjøre?

1. Oppgrader til 0.32.9 før du prøver nemotron-3.5-lightning. Eldre versjoner kjenner ikke arkitekturen.
2. Planlegg minnet etter 30 milliarder vekter, ikke etter 3 milliarder aktive, når du velger maskin til en agent som skal stå på.
3. Kjører du Muse Glimmer med verktøykall, er parser-rettelsen alene grunn til å oppgradere.