Gemma 4 E2B på NAS-en gir 10,5 tokens i sekundet, nok til nattlige KI-jobber

En Raspberry Pi 5 gir 5,8 til 6,5 tokens i sekundet med Gemma-4-E2B, mens en NAS med Intel i5-1235U klarer over 10,5, skriver Ayush Pande i XDA Developers. Den større E4B-varianten gikk med 4 til 5 tokens i sekundet på samme NAS, for tregt når du vil ha svar med en gang.

Grunnen til at de små Gemma 4-modellene holder mål, er arkitekturen. E2B har 5,1 milliarder parametere totalt, men bare 2,3 milliarder effektive, mens E4B har 8 milliarder totalt og 4,5 milliarder effektive. Resten ligger i Per-Layer Embeddings, oppslagstabeller som gir modellene en større kunnskapsbase uten å kreve like mye RAM. Begge modellene forstår også bilder.

Pande har derfor delt arbeidet i to. En Qwen3.6-35B-A3B på et RTX 3080 Ti tar koding og spørsmål som skal besvares med en gang, mens NAS-en kjører bakgrunnsjobber: OCR-skanning med Paperless-GPT og tagging med Paperless AI i dokumentarkivet Paperless-ngx, oppsummering og auto-tagging av nettsider, PDF-er og YouTube-videoer i Karakeep, og tagging av notater i Blinko. NAS-en huser også embedding-modellene nomic-embed-text-v1.5 og nomic-embed-vision-v1.5. Vektorene fra tekstmodellen bruker Open Notebook til å hente fram relevante notater før spørsmålet går videre til de store modellene på skjermkortet.

«Det gjør meg ikke så mye om Gemma-4-E2B-modellen, som tøffer av gårde i 10 t/s, bruker noen minutter på å behandle det.» — Ayush Pande, XDA Developers

Hva bør du gjøre?

1. Mål hastigheten på din egen NAS med Gemma-4-E2B før du flytter jobber dit, siden tallet på 10,5 tokens i sekundet gjelder en i5-1235U.
2. Skill mellom interaktive jobber og jobber som kan vente, og pek Paperless-GPT, Paperless AI og Karakeep mot modellen på NAS-en.
3. Vurder å legge embedding-modellene på NAS-en også, slik Pande gjør med nomic-embed-text-v1.5 for RAG i Open Notebook.