LightOn ColGrep-Agent-2B: lokal 2B-modell tar kodesøket og kutter Claude Code-tokens med 34 prosent

34 prosent færre API-tokens og 40 prosent lavere kostnad: det målte LightOn da Claude Code med Sonnet 5.5 fikk sette bort kodesøket til ColGrep-Agent-2B i stedet for å bruke grep. Ifølge modellkortet på Hugging Face er modellen lagt ut med Apache 2.0-lisens. Den er finjustert fra MiniCPM5-2B og leveres som en GGUF-fil på rundt 2,5 GB, uten Python-miljø, inferensserver eller API-nøkkel.

Agenten sitter mellom kodeagenten din og repoet. Den får et spørsmål, søker med ColGrep (LightOns semantiske kodesøk), leser lovende filer, følger referanser og leverer filstier med linjeintervaller og selve koden tilbake. Den har tre verktøy, colgrep, en skrivebeskyttet terminal og finish, og et budsjett på 10 runder. Under panseret ligger LateOn-Code-edge, en retrieval-modell på 17 millioner parametere som lagrer én vektor per token. Derfor kan et spørsmål om «custom attributes» treffe kode som heter fieldDefinition.

«Hovedbesparelsen kommer av at Claude tar færre søkerunder. Hver nye runde sender den oppsamlede konteksten på nytt.» — LightOn, i bloggposten om ColGrep-Agent

Testen besto av 52 kodesøk-spørsmål i 13 offentlige repoer opprettet i 2026, kjørt tre ganger i fire oppsett, til sammen 624 økter. Med grep brukte Claude Code i snitt 142 000 tokens og 5,5 runder per spørsmål. Med ColGrep-Agent falt det til 93 000 tokens og 3,9 runder, og kostnaden gikk fra 7,3 til 4,4 cent. Besparelsen vokser med repoet: 19 prosent under 50 000 linjer og 40 prosent mellom 150 000 og 600 000 linjer.

Prisen betaler du i tid og i et usikkert treffsikkerhetstall. Tiden per spørsmål steg fra 13,0 til 21,6 sekunder, og på en M3 Pro tar et søk rundt 20 sekunder med 3 til 4 GB minnebruk. Andelen korrekte svar var 80,8 prosent mot 83,3 for grep. LightOn skriver at forskjellen ikke er statistisk signifikant, men at intervallet er bredt nok til at et merkbart fall ikke kan utelukkes. Standardmodusen hybrid traff like godt som grep og sparte 21 prosent. Merk at LightOn har laget testen selv, at Claude Opus 5.5 var dommer, og at tallene gjelder rene søkespørsmål, ikke hele kodeoppgaver.

På SWE-bench Lite, omgjort til en ren lokaliseringsoppgave, fikk 2B-modellen den høyeste linje-F1 av alle testede modeller (19,92), foran Gemma 4 31B (17,08) og Qwen3.5-27B (15,71). På fil-nivå lå Gemma 4 31B fortsatt foran.

«Kompakte, verktøyspesialiserte lokaliseringsagenter kan gi et effektivt grensesnitt mellom forespørsler i naturlig språk og store kodebaser.» — LightOn-forskerne i arXiv-artikkelen «Small Agents with Semantic Search»

Hva bør du gjøre?

1. Installer med brew install lightonai/tap/colgrep && colgrep --install-agent (eller cargo install colgrep), og kjør colgrep init i repoet du vil indeksere.
2. Koble verktøyet til kodeagenten med colgrep --install-claude-code. Det finnes også varianter for Codex og OpenCode.
3. Start i hybrid-modus og bytt til colgrep settings --hook-mode agent først når du har sett at svarene holder i ditt eget repo, helst et stort et der besparelsen var størst.