Unsloth Dynamic 3.0 presser Qwen3.8-27B ned i 6,2 GB

Unsloth oppgir at de nye GGUF-filene virker i de fleste inferensmotorer, inkludert llama.cpp og Unsloth Desktop. Selskapet melder om 5,1 millioner nedlastinger av Qwen3.8-modeller i løpet av fem dager, som er bakgrunnen for at de prioriterte denne modellen først. De største kvantiseringene bruker fortsatt gamle v2.0-oppskrifter, så gevinsten ligger i det lave sjiktet.

To varianter er verdt å merke seg. UD-IQ1_S er 6,2 GB uten MTP-modulen, altså 89 prosent mindre enn utgangspunktet, og beholder rundt 72 prosent topp-1-treffsikkerhet. UD-Q2_K_XL er 9,83 GB, ligger rundt 8 prosentpoeng over nærmeste konkurrent på samme mål, og klarte ifølge Unsloth å produsere et fungerende HTML-program med én liten JS-feil der forrige generasjon brøt sammen.

Endringene er metodiske, ikke arkitektoniske. Unsloth bruker et nytt imatrix-kalibreringssett satt sammen for agentisk koding, chat og flerspråklighet, har forbedret lagvalget og lagt til flere kvantiseringsteknikker. Alt gjøres som ren post-training-kvantisering, uten QAT eller QAD, og kalibreringsfilen er lagt ut offentlig. For kvalitetsmåling har de laget Divergence-300 @32: 300 holdt-ut eksempler fra Terminal-Bench 2.1, DeepSWE, Harbor og MathArena, der de sammenligner 32 tokens grådig dekoding mot BF16 i stedet for å måle ett enkelt token.

Hva bør du gjøre?

1. Har du under 12 GB VRAM, test UD-Q2_K_XL før du gir opp 27B-klassen lokalt. Det er sjiktet der v3.0 flytter mest.
2. Sjekk om oppsettet ditt trenger MTP. Unsloth har fjernet modulen fra kvantiseringer på 8,37 GB og under for å spare rundt 500 MB, og tilbyr den som separat Q4_0-modul.
3. Mål på din egen arbeidslast før du bytter. Topp-1-treffsikkerhet og KL-divergens er proxyer, og Unsloth publiserer kalibreringsfilen nettopp for at andre skal kunne etterprøve tallene.