Qwenputer: en RISC-V-CPU kompilert inn i vektene til Qwen3.5 4B, uten verktøykall
torsdag 29. oktober · KI-generert · Kilde: divagr.com
Gjør Qwen3.5 4B til en datamaskin ved å kompilere en RISC-V-CPU inn i vektene, slik at store heltall regnes eksakt uten verktøykall.
Skal Qwen3.5 4B regne ut 123456789 × 987654321 helt riktig, gir du den vanligvis et Python-verktøy. Qwenputer gjør regnestykket inne i sine egne forward passes. Utvikleren Divyansh Agrawal har kompilert en 32-bits RISC-V-kjerne (RV32IM med Zba-utvidelsen og en liten bignum-enhet) inn i Qwen3.5 4B, som 11 ekstra lag foran modellens 32, og forklarer metoden på bloggen sin.
Trikset sitter i Gated DeltaNet, den lineære RNN-en som står for tre av fire attention-lag i Qwen3.5. Setter du gate og write strength (beta) til 1 og bruker one-hot-nøkler, overskriver hver skriving nøyaktig én rad i tilstandsmatrisen. Da blir laget eksakt RAM som ikke vokser med samtalen, slik en KV-cache gjør. Ingen trening er involvert: en kompilator setter hver vekt direkte, og Qwens opprinnelige vekter står urørt. Modellen sender instruksjonene via tool call-formatet den allerede kan, men kallet forlater aldri modellen.
«For å være helt tydelig: det er ikke en plugin, et verktøy eller en sandkasse.» — Divyansh Agrawal, utvikler av Qwenputer
Tallene holder. På NUPA-testen for lange heltall går modellen fra 48,6 % til 100 %, samme nivå som Qwen med Python-verktøy. Agrawal har spilt av rundt 230 000 utdataposisjoner mot en referansemaskin uten ett avvik, og CPU-en har kjørt 18 millioner instruksjoner uten feil. Vanlig tekst endrer seg knapt (KL 6e-4 mot et støygulv på 5e-4).
Prisen er størrelse og fart. Sjekkpunktet er 18,8 GB, omtrent dobbelt så stort som vanlig Qwen (mest nullpolstring), og det trenger driveren RvChat, så et vanlig generate()-kall fungerer ikke ennå. Hver instruksjon koster noen dekodede tokens, og benchmark-kjøreren når rundt 3 200 CPU-tokens i sekundet på et Nvidia L4. Modellen kjører på ett 24 GB-skjermkort, og både koden på GitHub og modellen på Hugging Face er åpent tilgjengelig.
På Hacker News spør en kommentator rett ut hva nytten er, mens en annen ser verdien som motbevis:
«Det er et godt eksempel som tilbakeviser den vanlige misforståelsen om at LLM-er er iboende ikke-deterministiske.» — jwitthuhn, Hacker News
For deg som bygger agenter erstatter Qwenputer ikke en sandkasse i dag, men Agrawals forsøk viser at hybridmodeller med lineær RNN har en minnemekanisme som kan styres helt eksakt.