Finjustert Gemma 4 12B treffer sju av ti verktøykall

Gemma 4 26B får skryt for koding, men må kvantiseres hardt for å få plass på et forbrukerkort. 12B-varianten får plass, men snubler i selve mekanikken bak agentarbeid. Det er utgangspunktet for Coding Monkey Gemma, en finjustering publisert på Hugging Face 17. august av en utvikler som går under navnet TheOneWhoWill.

«Jeg gikk til 12B-varianten bare for å finne ut at den feiler på selv grunnleggende kodeoppgaver, fordi den ikke forstår hvordan den skal bruke de riktige verktøyene fra agentoppsettet» — TheOneWhoWill, modellkortet til Coding Monkey Gemma

Målingen er gjort på 102 prompts som er holdt utenfor treningen. Andelen svar med gyldig format gikk fra 82,4 til 98,0 prosent, og andelen der både syntaks og parameterplassering var eksakt riktig gikk fra 26,5 til 70,6 prosent. Settet er ifølge modellkortet strengere enn en tidligere evaluering på 67 oppgaver, fordi det nå inneholder database-, kunnskapsgraf- og shell-oppgaver med flere argumenter som må matche presist.

Oppskriften er det mest brukbare for andre. Basismodellen er Googles gemma-4-12B-it, metoden er QLoRA med r=16 og alpha=32, læringsrate 2e-4 med cosinus-nedtrapping og effektiv batch-størrelse 32. 480 steg over tre epoker tok 3 timer og 48 minutter på et RTX 5070 Ti med 16 GB. Treningstapet falt fra 1,695 til 0,120, og tapet på valideringssettet endte på 0,206.

Datasettet er 5 211 eksempler, ikke millioner. Hovedvekten er glaive-function-calling-v2 fra glaiveai med 3 347 eksempler, resten kommer fra AgentInstruct fordelt på database (538), webshop (351), alfworld (336), kunnskapsgraf (324), operativsystem (195) og mind2web (120). ReAct-spor derfra er konvertert fra ren tekst til strukturerte Gemma-verktøykall. Forfatteren oppgir at tidligere forsøk gikk i overtilpasning, og at 30 timer med prototyping ligger bak de knappe fire timene som til slutt ga tallene.

Tallene bør veies mot hvem som har målt dem: forfatteren har satt sammen både treningssettet og evalueringen, og ingen uavhengig benchmark har bekreftet spranget. Repoet står med 11 likes og 257 nedlastinger siste måned.

Hva bør du gjøre?

1. Hent gemma-coder-Q4_K_M.gguf og start llama-server med -c 32768, eller lag en Modelfile med num_ctx 32768 hvis du kjører Ollama.
2. Kjør din egen verktøy-eval før du bytter ut noe som virker: 102 prompts fra én forfatter er et signal, ikke en garanti.
3. Vurder oppskriften like mye som vektene. 5 211 kuraterte eksempler og fire timer på et 16 GB-kort er innen rekkevidde hvis din egen modell bommer på ditt eget verktøysett.