Google la 15. juli 2026 ut oppdaterte vekter for hele Gemma 4-familien på Hugging Face, en oppdatering teamet selv kaller en «community update» og ikke en ny versjon. Verktøykallene ble mer pålitelige denne uka uten at du byttet modell. På Gemma 4 31B oppgir Google +10,1 % på agentbenchmarken Tau2 Telecom, +3,1 % på Tau2 Retail og +4,5 % på TB2, målt mot de forrige vektene.
Den største endringen for deg som kjører lange agent-loops er FlashAttention 4. Kjernen angriper prefill-fasen: den skjulte latenskostnaden når en agent dytter systemprompt, verktøydefinisjoner og MCP-skjemaer inn i modellen før det første tokenet genereres. Google oppgir 25 til 70 % høyere prefill-gjennomstrømning og opptil 31 % lavere tid til første token, men bare på NVIDIA Hopper. Kjører du på Apple Silicon, får du oppdaterte vekter og MTP-gevinst via Ollama, ikke de samme prefill-tallene.
Oppdateringen retter også chat-malen, slik at færre rolletagger lekker inn i svaret, og hever vision-budsjettet til max_soft_tokens 1120. Det gir skarpere OCR og innganger opp mot 2,51 megapiksler. Alt ligger fortsatt under Apache 2.0, så du trenger ingen nye API-nøkler, bare tid til å re-pulle vektene. Tallene stammer fra Googles @googlegemma-tråd 15. juli, gjengitt av explainx.ai, og varierer med inferens-stack og batch-størrelse.
Hva bør du gjøre?
- Re-pull vektene med
ollama pull gemma4:12beller oppdater GGUF-en i llama.cpp, og kjør én verktøykall-test før du starter lange agent-økter. - Kjører du på Hopper via vLLM eller Transformers, bruk et flash-attn-bygg som eksponerer FA4 og mål tid til første token med din faktiske systemprompt og verktøyskjema.
- Har du finjustert på den gamle chat-malen eller verktøykall-formatet, re-test etter oppdateringen, siden maldrift er en vanlig kilde til at en modell «føles dummere».