Lokal 122B tok over hjemmeagenten Jarvis, 787 ganger billigere enn Claude

I en hjemmelab står tre RTX 3090-kort og holder 53 GB modellvekter permanent i minnet, med rundt 107 watt i tomgangstrekk bare for å slippe kaldstart. Det er maskinen som nå driver Jarvis, den personlige KI-agenten Arsen Apostolov målte opp mot Claude i Towards Data Science 11. august. Jarvis er en LangGraph-basert react-agent med omtrent 90 verktøy: e-post, kalender, notater, filer, Office, WhatsApp, Discord og egne underagenter. Fram til for en uke siden kjørte den på Claude.

Testen er en replay, ikke en ny kjøring. Apostolov hentet 28 historiske oppgaver fra Jarvis' egne Langfuse-spor over 90 dager, fordelt på syv kategorier. Claude-siden er svarene Claude faktisk ga i produksjon, med de ekte dataene den faktisk så, og den fasiten er frosset likt i begge rundene. Bare den lokale modellen kjøres på nytt, i en sandkasse der skrivende verktøy avskjæres og lesende verktøy serverer den innspilte responsen fra det opprinnelige sporet. Dommer er claude-opus-4-8.

Første runde gikk dårlig. På ett enkelt RTX 3090-kort, delt med resten av hjemmelabben, måtte kontekstvinduet ned i 16 384 tokens for å få plass til rundt 18 GB vekter. qwen3-coder:30b landet på 22,8 av 100 mot Claudes 89,4, vant ingen kategori, og lekket rå verktøykall-syntaks av typen «function=send_email» rett inn i sluttsvaret i 7 av 27 oppgaver. Verktøyoverlappet med det historiske sporet var 14,8 prosent, og to oppgaver satte seg fast og kalte det samme allerede besvarte verktøyet om og om igjen.

Andre runde byttet rommet, ikke bare modellen: tre kort og 72 GB VRAM, en 122 milliarder parameters mixture-of-experts kvantisert til Q3_K_M, og et kontekstvindu på 256 000 tokens. Samme 27 oppgaver, samme frosne fasit, samme dommer. Resultatet ble 80,0, altså 89,4 prosent av Claudes score, og på 14 av de 27 oppgavene lå den lokale modellen på eller over Claude. De ødelagte verktøykallene forsvant helt, fra 7 til 0. Verktøyoverlappet steg til 38,0 prosent, og det er der gapet fortsatt sitter: kategorien «files», som krever at flere verktøykall lenkes riktig, endte på 64 mot Claudes 88, mens «general» gikk forbi Claude med 90 mot 85.

«Ikke at lokale modeller vant, men at lokale modeller ble gode nok til at det øverste sjiktet av API-forbruket mitt sluttet å tjene inn seg selv.» — Arsen Apostolov, forfatter og utvikler av Jarvis

Kostnadssiden er målt, ikke estimert. De 27 oppgavene trakk 0,1573 kWh fordelt på tre kort, priset mot forfatterens faktiske strømtariff: 0,000969 dollar per oppgave mot Claudes 0,763. Apostolov er tydelig på forbeholdet. Modellstørrelse og kontekstbudsjett endret seg samtidig, og han kjørte aldri kontrollen som ville skilt dem, nemlig qwen3-coder:30b på den nye maskinen med 256 000 tokens. Hans egen hypotese er at konteksten gjør mest av jobben, fordi feilene i runde 1 er nøyaktig dem du forventer av en modell som får verktøyskjemaene sine kuttet midt i. Dommeren er dessuten en Claude-modell som scorer Claudes egne svar, en kjent skjevhet han ikke kan utelukke.

Hva bør du gjøre?

1. Mål kontekstbudsjettet ditt før du kjøper flere parametre. Ligger verktøyskjemaene og systemprompten alene og fyller vinduet, er det der flaskehalsen sitter.
2. Bygg et avspillingsoppsett på dine egne logger i stedet for å stole på en offentlig benchmark. Samme qwen3-coder:30b som toppet Apostolovs tidligere test med 17 oppgaver, kollapset i den ekte agenten.
3. Rut videre til API-modellen de oppgavene som krever flere verktøykall på rad, og hold resten lokalt. Det er en rutingregel, ikke et abonnement.