Edge0 kjører en 35B-modell fra SSD på 2,9 GiB aktivt minne

2,9 GiB. Det er toppen i aktivt minne når Edge0 kjører Qwen3.6-35B-A3B i 4-bit på en Mac mini M4 Pro med 24 GB, ifølge modellkortet på Hugging Face. Hele sjekkpunktet blir liggende på disken, og ekspertvektene strømmes inn etter hvert som ruteren ber om dem, så minnebruken styres av det aktive settet og ikke av parametertallet. Modellen har 256 eksperter med fire aktive per token, 40 lag og Apache 2.0-lisens.

Tre grep bærer resultatet. Ekspertavlastning til SSD holder bare de aktive vektene i RAM. En trent prerouter gjetter hvilke eksperter neste steg trenger på forhånd, slik at innlastingen overlapper forward-passet i stedet for å stoppe det, og utgiverne måler opptil 59 prosent høyere dekodingshastighet av det grepet alene. Recover-LoRA fryser int4-basen og destillerer LoRA-adaptere fra fp16-læreren, som henter inn mesteparten av kvantiseringstapet. Metoden er beskrevet i arXiv-artikkelen 2609.18063, som modellkortet ber deg sitere.

Kvalitetstapet er målt, ikke anslått. Kjørt med OpenCompass under like innstillinger lander int4-varianten på 79,2 i snitt over fem benchmarks mot 83,2 for fp16-basen, en forskjell på 3,9 poeng. Størst er utslaget på AIME 2026, fra 92,7 ned til 86,6. På GPQA-Diamond er avstanden to poeng, 79,8 mot 81,8. Alle målingene er utgivernes egne, på deres eget oppsett.

Forbeholdene er like konkrete. Dette er en forhåndsutgivelse, MLX-backenden treffer foreløpig bare Apple Silicon, og modellkortet slår selv fast at agentevnen er svak: verktøykall, flerstegsplanlegging og lange oppgaveløp er ikke prioritert i denne versjonen. Lang kontekst vokser dessuten KV-cachen, så 2,9 GiB gjelder korte prompter. For deg som bygger lokalt betyr det at Edge0 er verdt å prøve som chat- og resonneringsmodell på en maskin der 35 milliarder parametere ellers er uaktuelt, men ikke som motor i en agent.

Hva bør du gjøre?

1. Sjekk at lagringen er rask nok. Modellkortet peker på NVMe eller intern flash som bruksområdet, og gevinsten fra prerouteren vokser med lagringslatensen.
2. Hent base, LoRA og prerouter sammen. Alle tre ligger i samme repo og lastes automatisk av edge0-rammeverket, så katalogen er kjørbar som den er.
3. Start med edge0 chat --name edge0-35b for å se hva modellen duger til, og bytt til edge0 serve --name edge0-35b --port 8085 når du vil treffe den fra egen kode over et OpenAI-kompatibelt API.