Simon Willison kjørte Muse Glimmer lokalt på 18,16 GB

18,16 gigabyte. Det er størrelsen på LM Studio-versjonen av Muse Glimmer som Willison lastet ned og kjørte på egen maskin 10. august. Det er også tallet som mangler i lanseringsomtalene, der Hugging Face oppgir én H100 med 80 GB som praktisk minimum for inferens i full presisjon. Kvantisert er den samme modellen innen rekkevidde for maskinvare folk faktisk har stående.

Willison kjører selv en maskin med 128 GB minne, og poenget hans er ikke at 18 GB er lite i seg selv. Han argumenterer for at 30 milliarder parametere er en gunstig størrelse nettopp fordi en maskin med 32 GB minne eller mer fortsatt har plass til å kjøre andre programmer samtidig. Det er et annet kriterium enn benchmarkpoeng: modellen skal få lov til å dele maskinen med arbeidet ditt.

Testen han kjørte sier mer enn en poengsum. Med plugin-en llm-coding-agent satte han modellen på et ferskt uttrekk av Datasette-kodebasen med spørsmålet «how does auth work?», og modellen jobbet seg gjennom koden med en lang rekke verktøykall før den svarte. Oppsettet krevde en patch for å virke sammen med LLM 0.32. Han testet den også som synsmodell på et fotografi, der den navnga brunpelikan ved artsnavn og skilte de mindre fuglene i bakgrunnen fra hverandre.

Willison noterer i tillegg at Apache 2.0-lisensen er et skritt opp fra det han kaller de rotete Llama-lisensene fra tidligere.

Hva bør du gjøre?

1. Last ned den kvantiserte versjonen i LM Studio hvis du har 32 GB minne eller mer, og regn med rundt 18 GB på disk.
2. Test den som kodeagent mot din egen kodebase før du vektlegger benchmarktallene, og regn med å måtte oppgradere plugin-laget slik Willison måtte.