Honnibal: bare tre av Astra-forsøkene leser rå vekter, og Qwen-resultatet bruker Python

«Scenemagikere gjør ofte det samme trikset på flere måter», skriver Matthew Honnibal, utvikleren bak spaCy. Han mener innlegget «Sparks of Weight-Space Programming» fungerer likt: sammendraget får leseren til å tro at GPT-6 Astra forbedret Qwen3.5-0.8B «just by looking at the raw weights». Honnibal har satt opp de ti forsøkene i en tabell med hva Astra faktisk fikk gjøre i hvert av dem.

Ren lesing av vekter, med flyttall i konteksten og uten å kjøre nettverket, skjer bare i forsøk 1, 2 og 4. Der er nettverkene på 17 000 til 172 000 vekter. Qwen-forsøket på 800 millioner parametere skrev Python og fikk kjøre modellen opptil 50 ganger på øvingsoppgaver. Samme metode på Gemma 3 270M feilet, og det gjorde også forsøket på å finne en innsmigrende Gemma-modell før Astra fikk se attention-mønstrene.

Tallene for spillnettverkene er også smalere enn sammendraget antyder. MinAtar-nettverkene Astra skrev fra bunnen slår PPO trent i 100 millioner steg, men mot PPO trent i 500 millioner steg vinner de bare på Breakout (517 mot 25). På Seaquest taper de 53 mot 89, og på Asterix 53 mot 55.

«Det Qwen-resultatet faktisk viser, er at Astra kan promptes til å utarbeide og utføre oppgaver som en menneskelig ML-ingeniør kunne gjort» — Matthew Honnibal

Honnibal skriver likevel at det ikke er noen liten sak å få til, og at KI-modeller fra for ett eller to år siden ville feilet på alle oppgavene. Simon Willison trekker samme skille og tester bare lesedelen på sin egen laptop.

Planlegger du å la en modell inspisere eller reparere vekter i egen pipeline, er det oppsettet med Python og prøvekjøringer som er testet på språkmodeller, ikke ren lesing.