Dettmers-laben kjører en 125B-modell på ett 24 GB-kort

Inferens-rammeverket ligger i bunnen, skriver Dettmers i innlegget sitt fra 21. september. Kvantisert til 1,5 bit per vekt kjører en Qwen 3.6 35B-A3B-modell på 450 tokens i sekundet på Mac og Metal. En halvpresisjonsmodell trenger seksten bit per vekt, så den samme modellen får plass i omtrent en tidel av minnet. Kjernene bak Mac- og Metal-implementasjonen ble optimalisert av labens egen agent, sluppet løs på repoet med én kommando.

Modellstørrelsene er det som flytter noe praktisk. Qwen 3.8 på 27 milliarder parametere har vært den populære lokale modellen. Rammeverket kjører i stedet Qwen 3.8 Flash Next på 125 milliarder parametere på ett enkelt 24 GB-kort, altså kortet som sitter i en helt vanlig stasjonær maskin. Har du AMD Strix, en NVIDIA DGX Spark eller en MacBook med 128 GB minne, går DeepSeek V4.1 på 550 milliarder parametere. Komprimering og kontekst-håndtering skjer automatisk, så du slipper å styre kontekstlengden selv.

Den andre delen er auto-komprimering. Teknikken heter CliffCompaction, har vært i bruk internt i laben i månedsvis og skal kutte kostnaden med rundt femti prosent. Dettmers oppgir at sesjoner har gått forbi hundre millioner tokens, og at en samarbeidspartner som tok den i bruk internt målte 45 prosent reduksjon i hele KI-budsjettet sitt. På KernelBench slår den både AlphaEvolve-aktige metoder og hierarkiske minnesystemer.

Delene er satt sammen til et autonomt forskningssystem som kjører lokalt uten internettilgang i det hele tatt. Dettmers ba det finne et problem verdt å jobbe med i bioinformatikk, et felt han selv ikke kan. Systemet kom tilbake med tre kandidater. På rundt to timer etablerte det en ny nedre grense for heuristiske metoder, bygde og testet den beste heuristikken i litteraturen, og fant feil i datakildene hele fagfeltet bruker til evaluering.

«Det er den eneste evalueringen av et forskningsverktøy jeg stoler på: folk spør etter det når du slutter å gi dem det.» — Tim Dettmers

Alt dette er foreløpig hans egne tall. Påstanden om at systemet gir bedre autonome forskningsresultater enn Sakana AI og Googles ScientistOne er ikke etterprøvd av noen utenfor laben, og ingen tredjepart har målt CliffCompaction. To åpne prosjekter og fire artikler slippes samlet fra 22. september, ett døgn senere enn planlagt, og først når koden ligger ute kan du etterprøve noe av det.

«Et par personer med et par GPU-er kan bygge systemer som konkurrerer med frontlinjen.» — Tim Dettmers

Hva bør du gjøre?

1. Sjekk hvor mye VRAM maskinen din faktisk har før du planlegger noe. 24 GB er terskelen for 125B-modellen, 128 GB for DeepSeek V4.1.
2. Test kvantiseringen på en modell du allerede kjenner kvaliteten på, så du ser hva 1,5 bit per vekt koster deg i praksis.
3. Mål hva lange agent-sesjoner koster deg i dag, slik at du har et tall å holde de femti prosentene opp mot når koden er ute.