Gemma 4 er den sterkere modellen på papiret: bedre på samtale, resonnement og bildeforståelse. Men på de regelbundne oppgavene som fyller en arbeidsdag ved datamaskinen (JSON-config, YAML-frontmatter, en Docker-container som nekter å starte), taper den mot en modell som er over halvannet år eldre. Det viser en gjennomgang fra XDA Developers, der skribenten byttet ut sin generelle lokalmodell med Qwen 2.5 Coder 3B fra november 2024.
Poenget er ikke at Qwen er en bedre modell totalt sett, men at den er trent for noe annet. Qwen 2.5 Coder ble trent på 5,5 billioner tokens, men bare rundt 45 prosent var kildekode. Resten var naturlig språk. Modellen er finjustert for strukturert utdata og instruksjonsfølging, og det er nettopp der presisjon slår bredde: en generell chatmodell behandler formateringsregler som veiledende fordi den er optimalisert for å høres hjelpsom ut.
«En generell chatmodell behandler regler som forslag fordi den er optimalisert for å høres hjelpsom ut. En kodemodell behandler regler som selve poenget.» — XDA Developers
For deg som kjører modeller lokalt er det praktiske poenget maskinvarekravet. Qwen 2.5 Coder 3B i Q4_K_M-kvantisering er rundt 1,9 GB, så et RTX 3070-kort med 8 GB VRAM laster hele modellen og har fortsatt plass til kontekst. GGUF-versjonen støtter 32K tokens kontekst rett ut av boksen. Du trenger altså ikke en flaggskipmodell eller en dyr GPU for å få pålitelig strukturert utdata.
Mønsteret gjelder for alle som setter sammen et lokalt oppsett: den beste modellen for jobben er ofte ikke den nyeste eller største, men den som er trent for akkurat din oppgavetype. En 3B-modell som treffer presist på config-filer er mer nyttig i praksis enn en 12B-generalist som gjetter.