POCKET-35B kjører uten grafikkort, men 88,4 prosent på GPQA blir 73,2 ved ett forsøk
Kjør POCKET-35B på en mini-PC uten grafikkort, men les 88,4 prosent på GPQA Diamond som beste forsøk av flere.
En 13 GB fil, en mini-PC uten grafikkort og en helt vanlig llama.cpp: det er hele oppsettet. Modellkortet for POCKET-35B på Hugging Face, lagt ut 22. juli av koreanske VIDRAFT under Apache 2.0, beskriver en MoE-modell med 35 milliarder parametere der bare 3 milliarder er aktive per token. Fire kvantiseringer ligger i repoet, fra 21 GB Q4_K_M ned til 8,2 GB IQ1_M som får plass i 16 GB RAM. På en 16-tråders Xeon oppgir teamet 27,0 token i sekundet mot 10,1 for Ternary-Bonsai-27B på samme maskin.
Modellen er ikke trent, den er kvantisert fra Darwin-36B-Opus. Den forelderen laget VIDRAFT ved å slå sammen vektene til Qwen3.6-35B-A3B og en resonneringsdestillert variant, uten et eneste gradientsteg. Det er sammenslåingen som har gitt overskriftstallet: 88,4 prosent på GPQA Diamond, 198 spørsmål på doktorgradsnivå i fysikk, kjemi og biologi.
Tallet kommer fra en to-pass-protokoll. Modellkortet for Darwin-36B-Opus oppgir 145 av 198 riktige med grådig dekoding, altså 73,2 prosent. Spørsmålene som ble feil, kjøres på nytt med åtte stokastiske generasjoner og flertallsvotering, og ved uavklart margin en runde til med 16 stemmer. Det løfter fasiten til 175 av 198. Teknikken er anerkjent, men den beskriver en dyrere inferens enn ett kall, og grådig-tallet på 73,2 prosent er identisk med det VIDRAFTs egen tabell oppgir for ubearbeidet Qwen3.6-35B-A3B.
Komprimeringen koster mer. Q4_K_M lander på 68,7 prosent, og Q2_K, som teamet selv anbefaler som best value, faller til 60,1. Ytelsesbildet er også delt: på en H100 gjør POCKET prompt-prosessering i 753 token i sekundet mot Bonsais 1816, fordi MoE-sparsiteten hjelper generering (8 av 256 eksperter våkner) men ikke prefill, der alle ekspertene må lastes. På en MacBook M3 Pro med 18 GB snur det, og POCKET vinner alle fire aksene i modellkortets tabell.
«Vi måler Bonsai på den samme maskinen med den samme stock llama.cpp, og vi sier fra hvor vi taper» — POCKET-35B, modellkort på Hugging Face
Ingenting av dette gjør tallene oppdiktet. VIDRAFT publiserer kvantiseringsvarianter, perpleksitet per språk og benchmark-oppsettet åpent, og alt kjører på verktøy du allerede har installert.
«Les det slik du ville lest ethvert omstridt leaderboard-resultat: som beste tilfelle under raus sampling, ikke det forventede» — awesomeagents.ai
Bakgrunn
Darwin-familien er VIDRAFTs forsøk på å konkurrere uten pretreningsbudsjett. Modellkortet beskriver en plattform der eksisterende åpne sjekkpunkter krysses over flere generasjoner, med «healing» og ekspert-kirurgi underveis, i stedet for gradientbasert trening. Darwin-36B-Opus ble lagt ut på Hugging Face 22. april, tre måneder før POCKET-bygget som nå gjør den kjørbar uten grafikkort.
Hva bør du gjøre?
- Har du 16 til 24 GB RAM: start med Q2_K på 13 GB og kjør på CPU med -ngl 0. Det er bygget teamet selv peker på som best value.
- Sett trådtallet til antall fysiske kjerner, ikke alle logiske. Modellkortet advarer om at full trådbruk kan gjøre kjøringen markant tregere.
- Mål på din egen maskin før du bytter ut noe. Prefill-tapet på diskrete GPU-er og gevinsten på Apple Silicon peker i hver sin retning.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.