Multimodal KI har lenge hatt et fast mønster: skjermbildene, taleopptakene og dokumentene dine reiser til en tredjeparts server, blir behandlet av noen andres modell, og kommer tilbake som et svar. For folk som jobber med kildekode under NDA, helseopplysninger eller personidentifiserbare data har den regningen vært for høy uansett hvor god modellen er.
Det er den situasjonen Gemma 4 endrer, ifølge en gjennomgang hos XDA Developers der skribenten kjører modellen på en Lenovo Legion 5 fra 2020 med mobil RTX 3070 og 8 GB VRAM. Nøkkelen er en arkitekturbeslutning: bilder flyter rett inn i modellens backbone gjennom et lett embedding-lag, i stedet for gjennom en separat vision-encoder som må ligge i VRAM og legger latens på hvert bilde. Modellfilen på 7,6 GB får dermed plass der en tilsvarende multimodal modell ikke ville gjort det.
«Den er rett og slett Steam Deck-en blant språkmodeller.» — skribenten i XDA Developers
12B-varianten har et kontekstvindu på 256 000 tokens, nok til et års møtenotater eller et lite kodelager i én forespørsel. Lyd er det andre tillegget: E2B- og E4B-variantene har innebygd talegjenkjenning, så modellen kan resonnere direkte over et opptak og hente ut punkter og temaer uten at du først sender møtet gjennom en transkripsjonstjeneste. Merk at dette er én skribents erfaring, ikke en benchmark-kjøring, og at ASR foreløpig kun gjelder de to nevnte variantene.
Hva bør du gjøre?
- Har du 8 GB VRAM eller mer, last ned 12B-varianten og mat den skjermbilder av det du faktisk sitter med. Tabelluttrekk fra grafer og BIOS-skjermer er der skribenten finner mest verdi.
- Trenger du transkripsjon, velg E2B eller E4B. Bare de har talegjenkjenning innebygd, og det er hele poenget med å slippe en ekstern transkripsjonstjeneste.