«Måten å bygge bedre agenter på er å fortsette å forbedre systemet rundt modellen», sier Harrison Chase, medgrunnlegger og toppsjef i LangChain, i en kunngjøring publisert på NVIDIAs egen blogg. Påstanden han underbygger er konkret: LangChain tunet sin Deep Agents-kjøreramme for den åpne modellen Nemotron 3 Ultra, målte den høyeste treffsikkerheten blant åpne modeller, og oppgir rundt ti ganger lavere inferenskostnad per kjøring enn ledende lukkede modeller.
Tallene bør leses med kildekritikk. Benchmarken er LangChains egen Deep Agents-suite, modellen er NVIDIAs, og kunngjøringen står på NVIDIAs blogg. Ingen uavhengig part har så langt reprodusert målingene. Det interessante er derfor ikke rangeringen, men mekanismen bak den: ingen omtrening fant sted. LangChain kjørte modellen mot benchmarken, leste kjøresporene for å finne nøyaktig hvor den tapte poeng, og justerte systemprompter, verktøybeskrivelser og middleware.
«Minne, verktøybruk, evaluering og modellatferd forsterker hverandre når team kan tune dem sammen» — Harrison Chase, medgrunnlegger og toppsjef i LangChain
For deg som bygger agenter er lærdommen overførbar uansett hvilken modell du kjører. Gevinsten lå i kjøreramma: prompter, verktøybeskrivelser og mellomvare, altså nettopp de delene du selv kontrollerer. Det er også en påminnelse om at evalueringssporet er verdt å lese linje for linje. LangChain fant tapte poeng ved å analysere hva agenten faktisk gjorde, ikke ved å stirre på en aggregert score.
NVIDIA oppgir at LangChains plattform har over 200 millioner månedlige nedlastinger, og at den tunede profilen ligger tilgjengelig direkte gjennom LangChain. Nemotron 3 Ultra kan kjøres hos Baseten, Crusoe Cloud, DeepInfra, Fireworks, Nebius og Together AI, eller på egen maskinvare, siden modellen er åpen. Selve arbeidet er pakket som en åpen referansemal, NemoClaw for LangChain Deep Agents, kombinert med den sikre kjøretiden OpenShell.
Som brukere trekker NVIDIA fram Abridge, Amdocs og Box, mens konsulentselskapet EY bygger implementeringstjenester rundt malene. Det er en kundeliste NVIDIA selv har satt sammen, ikke en uavhengig kartlegging av utbredelse. Skiftet kunngjøringen peker mot, fra assistenter som svarer på spørsmål til agenter som utfører handlinger i produksjonssystemer, er også grunnen til at en sikker kjøretid får plass i pakken i det hele tatt.
Poenget for de som bygger er dette: når ytelsesgevinsten kommer fra miljøet rundt modellen og ikke fra vektene, er den ikke låst til én leverandør, og du kan hente den ut selv.