Nvidia slipper Nemotron 3.5 Bolt 74B for lokale agenter, pakket i 24 GB

Fredag 16. oktober kommer de første bærbare med Nvidias RTX Spark-brikke i salg, med opptil 128 GB delt minne og 1 petaflop KI-ytelse. Dagen før slipper Nvidia modellen som skal fylle det minnet: Nemotron 3.5 Bolt 74B-A9B, ifølge et blogginnlegg fra Nvidia.

Modellen er en mixture-of-experts med 74 milliarder parametere, der 9 milliarder er aktive per token. Nvidia har kvantisert den til 2 bit med kvantiseringsbevisst trening og pakket den i 24 GB. Den skal kunne kjøres fra dag én i llama.cpp, vLLM, Ollama, Unsloth og LM Studio. Nvidia hevder at den er raskere enn de fleste populære tette modeller og smartere enn de fleste populære MoE-modeller med tilsvarende minnebruk, men kunngjøringen inneholder ingen benchmarktall som støtter det.

«Som andre Nemotron-modeller er Bolt 74B fullt åpen kildekode, inkludert treningsdata, vekter og oppskrifter, så utviklere kan finjustere og tilpasse sine egne agenter» — Nvidia, i kunngjøringen

For hjemmelabben er PAIR den mest interessante nyheten. Nvidias «personal AI router» er gratis og åpen kildekode, går nå ut av beta og finner selv PC-er på det lokale nettet, installerer modeller og inferensmotorer og fordeler arbeidet mellom maskinene. Den ferdige versjonen legger til llama.cpp, nedlasting direkte fra Hugging Face og justerbare innstillinger for inferensmotoren, og kjører på Windows, Linux og macOS. Ifølge Nvidia har miljøet rundt prosjektet bidratt med over 10 funksjoner og rettelser den første måneden.

llama.cpp-prosjektet slipper i tillegg Llama Windows, en Windows-app som laster ned og kjører modeller uten kommandolinje. På sikkerhetssiden får agenter som OpenClaw og GitHub Copilot sandkasse gjennom Microsoft Execution Containers (MXC), mens Hermes Agent skal få både Nvidias OpenShell og MXC innen utgangen av måneden.

Bakgrunn

Microsoft har på sin side lagt eksperimentell llama.cpp-støtte inn i Windows ML, slik at GGUF-modeller kan kjøres gjennom den nye Text Generation API-en. Ifølge Microsoft har selskapet og Nvidia sammen bidratt med ytelsesforbedringer til llama.cpp, blant annet CUDA-kerneloptimalisering og CUDA graphs.

«Med den nye, eksperimentelle llama.cpp-integrasjonen kan du hente en helt ny GGUF-modell fra Hugging Face og kjøre den lokalt gjennom den samme Windows ML-stacken du allerede bruker, med bare noen få linjer kode» — Microsoft, i utviklerbloggen for Windows ML

Microsoft påpeker selv at de nye Windows ML-funksjonene er eksperimentelle, og ber utviklere sjekke støttede scenarioer og kjente begrensninger før de brukes i produksjon.

Hva bør du gjøre?

1. Hent Nemotron 3.5 Bolt 74B når den publiseres 15. oktober, og test den i llama.cpp eller Ollama på en maskin med godt over 24 GB ledig minne, siden vektene alene tar så mye.
2. Prøv PAIR hvis du har flere maskiner med GPU i hjemmelabben og vil fordele modeller mellom dem.
3. Mål Bolt 74B mot modellen du bruker i dag på dine egne agentoppgaver før du kjøper ny maskinvare for den.