Qwen3.8 27B løste 167 av 169 regnestykker med resonnering, 45 uten
Slå på resonnering når en lokal modell skal regne, og budsjetter for at hvert svar tar langt mer tid og mange flere tokens.
For over to år siden testet en Bluesky-bruker hvor godt GPT-4o klarte å legge sammen tall med 1 til 13 sifre og skrive svaret med bokstaver. Simon Willison skrev 4. oktober om hvordan han kjørte det samme eksperimentet på nytt, denne gangen med Qwen3.8-27B i Q4_K_M-kvantisering på en DGX Spark. Selve eksperimentet lot han en Codex-økt med GPT-6 Astra bygge og kjøre.
«Jeg ble inspirert til å kjøre eksperimentet på nytt på lokal maskinvare (en DGX Spark) for å utforske effekten i et fullt kontrollert miljø» — Simon Willison, på bloggen sin
Uten resonnering svarte modellen riktig på 1 195 av 5 070 regnestykker, eller 23,57 prosent. Allerede med ett siffer gikk det galt: på 7 + 9 svarte Qwen «seventeen». Med resonnering på medium-nivå løste den 167 av 169 stykker, ett per kombinasjon av sifferlengder. På akkurat de samme 169 stykkene klarte den bare 45 uten resonnering.
Mønsteret uten resonnering er tydelig i Willisons varmekart. Når begge tallene har minst åtte sifre, ligger treffsikkerheten mellom 0 og 13 prosent i hver eneste celle. Det opprinnelige GPT-4o-forsøket traff til sammenligning 97 prosent da begge tallene hadde ni sifre, så uten tenketid henger den lokale 27B-modellen langt etter på lange tall.
Prisen er tid. På de samme 169 stykkene var mediantiden per svar 1,50 sekunder uten resonnering og 27,62 sekunder med. Totalt gikk modellen fra 2 376 til 112 887 genererte tokens. I resonneringssporene ser du modellen stille opp tallene siffer for siffer og starte på nytt med «Wait, let me redo this more carefully.»
Sammenligningen er ikke helt ren, og rapporten Codex skrev sier det selv. Kjøringen uten resonnering hadde et tak på 128 tokens per svar, mens kjøringen med resonnering bare var begrenset av konteksten på 32 768 tokens.
«Det er derfor en sammenligning av konfigurasjoner, ikke et isolert kausalt estimat av resonnering alene.» — rapporten fra Willisons eksperiment
For deg som lar en lokal agent håndtere tall, er funnet konkret. En 27B-modell på eget utstyr kan regne pålitelig med 13-sifrede tall, men bare når den får tenke, og da koster hvert svar rundt 18 ganger så lang tid i median. Trenger du regnestykket raskt, er et kalkulatorverktøy fortsatt det billigste svaret.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.