GPT-6 Astra redigerer Qwen3.5-0.8B-vekter uten gradienter og løfter MATH-500 fra 7,9 til 48,1 prosent

Fra 93 til 33 prosent: så mye falt andelen MATH-500-svar som traff grensen på 32 768 tokens etter at GPT-6 Astra hadde redigert vektene i Qwen3.5-0.8B. I bloggposten «Sparks of Weight-Space Programming» lar Rikiya Takehi, Jayden Teoh, Alex Zhang og Omar Khattab modellen lese og skrive rå vekter. Astra fikk en Python-økt med vektene lastet og et budsjett på opptil 50 forward passes på oppgaver fra GSM8K og MATH, men ingen gradienter og ingen trening.

Astra fant feilen modellkortet til Qwen selv advarer om: små resonneringsmodeller som går i loop. Redigeringen rører 131 072 av modellens 0,8 milliarder vekter, og gevinsten smittet over på instruksjonsfølging.

Budsjettet betyr mye. Med 10 eller 25 forward passes holdt MATH-500 seg på 12 til 14 prosent, og loopene forsvant knapt. Forfatterne testet også Gemma 3 270M, som bare looper i 8,5 prosent av svarene. Der flyttet ingen redigering MATH-500 mer enn omtrent ett prosentpoeng.

«Vektredigering kunne fjerne et hinder som skjulte en evne, men den kunne ikke tilføre en evne modellen manglet.» — Takehi, Teoh, Zhang og Khattab

Resten av posten er småskala. Astra gjenkjente hvilket spill fire PPO-nettverk var trent på, fant alle induction heads i tre språkmodeller på 7,2 millioner parametere, og skrev MinAtar-nettverk fra bunnen som slo PPO trent i 100 millioner steg i alle tre spillene. Alle prompter, svar, kode og nettverk ligger i GitHub-repoet RikiyaT/lm_understand-logs, og forfatterne kaller resultatene tidlige mens de bygger en egen benchmark.

For deg som kjører små modeller lokalt er poenget smalere enn overskriften: en målrettet vektendring kan fjerne en kjent feilmodus uten ny trening, men den gjør ikke modellen flinkere.