«Min favoritt, og den jeg selv bruker, er llama.cpp», skriver Jorge Aguilar i How-To Geek. Oppskriften hans er å be Claude skrive verktøyet som gjør Claude overflødig: et Python-skript med JSON-skjemaer for lesing, skriving og listing av filer, en løkke som fanger opp verktøykall før noe ryker, og resultatene matet tilbake i samtalehistorikken.
Regnestykket bak er kjent for alle som har latt en kodeagent stå og gå i timevis. Et abonnement til 20 dollar i måneden holder til du bygger noe ekte. Går du over på API-et, betaler du per token, og verktøy som Claude Code og Cursor sender ikke ett rent kall og stopper: de går i løkke og genererer tusenvis av tokens i bakgrunnen bare for å gjøre jobben. Aguilar peker på tre ting som stabler seg oppå hverandre: prisen, kvotene som stopper deg midt i arbeidet, og at hver eneste prompt forlater maskinen din.
Selve oppsettet er beskjedent. llama.cpp starter en lokal server som etterligner et OpenAI-kompatibelt endepunkt. Python-skriptet pakker spørsmålet ditt sammen med JSON-definisjonene av de lokale filverktøyene og sender alt dit. Modellen svarer ikke med tekst, men med et strukturert JSON-objekt som navngir verktøyet den vil bruke og filstien den trenger. Skriptet kjører funksjonen, legger filinnholdet inn i historikken, og sender hele greia tilbake for en ny runde. Aguilar anbefaler Ollama for én arbeidsstasjon, vLLM når du trenger parallelle kall og gjennomstrømning, og GGUF-modeller som Qwen 2.5 Coder.
Innvendingen artikkelen ikke tar, er at en kodeagent ikke er modellen alene. Den er løkka rundt modellen, og løkka er sikkerhetsflaten din. ASSET Research Group testet nettopp elleve kombinasjoner av kodeverktøy og modeller i Ghostcommit-angrepet, og fant at utfallet avhang mer av kjørerammen enn av modellvektene.
«De samme Sonnet-vektene lekker under én kjøreramme og nekter under en annen.» — Cybersecurity News, om ASSET-forskningen
Skriver du løkka selv, arver du ansvaret for filtilgang, verktøygrenser og hva agenten får lov til å lese. Det er ikke et argument mot å gjøre det. Det er et argument for å bruke like mye tid på grensene i skriptet som på modellvalget: hvilke stier verktøyene får se, om .env er utenfor rekkevidde, og om innhold fra filer behandles som data og ikke som instruksjoner. Regninga blir null per kall. Sikkerhetsjobben blir din.