Qwen 3.8 27B på laptop identifiserer tre av fire spill fra rå nettverksvekter, men bruker opptil 65 minutter

Dagen etter at «Sparks of Weight-Space Programming» viste at GPT-6 Astra kan lese rå nettverksvekter, satte Simon Willison den samme testen på laptopen sin. Han lastet en 17 GB stor versjon av Qwen 3.8 27B i LM Studio og ga den promptene fra forfatternes GitHub-repo RikiyaT/lm_understand-logs. Hver prompt inneholder vektene til et lite policy-nettverk, trent med RL på et forenklet 10x10-rutenett, og spør hvilket av fire spill det ble trent på. Modellen får ingen kodekjøring, ingen kalkulator og bare ett svar. Nettverkene har rundt 17 000 vekter, ifølge en gjennomgang fra spaCy-utvikleren Matthew Honnibal.

Freeway, et Atari 2600-spill fra 1981, klarte Qwen ikke. Modellen trodde det var et Pac-Man-lignende spill. Pac-Man-svaret alene kostet 43 506 resonneringstokens, og Willison beskriver tankerekkene som nesten uforståelige.

Willison skiller mellom de to delene av forfatternes innlegg: lesing av vekter uten verktøy, og forsøkene der modellen skriver kode for å endre andre modeller. Han tester bare den første. Han mener også at et erfarent menneske med notatblokk og blyant kunne kommet til samme svar med nok innsats.

«Jeg er ikke klar til å erklære at kildekodens tid er over» — Simon Willison

Hva bør du gjøre?

1. Kjør en av promptene i exp1_which_game-mappen med llm -f mot rå-URL-en til prompt.txt, og pek på en lokal modell gjennom llm-lmstudio-pluginen.
2. Last modellen med et langt kontekstvindu før du starter. Standarden på 8192 tokens i LM Studio feilet for Willison, og han måtte heve tidsgrensen med LMSTUDIO_TIMEOUT=900.