Bytesjekk reddet KI-dekompileringen: 83 prosent av spillets funksjoner er nå byte-identiske

Etter fire uker med fire KI-agenter i sving startet spillet, hovedmenyen tegnet seg og kartene lastet. Maurice Heumann skriver i et blogginnlegg publisert 9. oktober at agentene da hadde dekompilert rundt 80 prosent av et populært førstepersonsskytespill til lesbar C++. Koden var også semantisk feil. Spillet er ikke navngitt fordi to tidligere innlegg om prosjektet er tatt ned, men brukere på Hacker News fant navnet i arkiverte versjoner: Call of Duty: Modern Warfare 2 fra 2009.

Agentene brukte feil funksjonssignaturer, typer og struct-layout, diktet opp logikk og fjernet annen. Konfigurasjonsvariabler som spillet leser direkte fra globale variabler ble gjort om til hashtabeller med oppslag som var flere størrelsesordener dyrere. Anmelder-agenten stoppet det ikke, fordi ingen hadde definert hva «riktig» betydde, og forklaringene arbeiderne skrev i koden fikk den til å godta avvikene.

«Arbeidernes kommentarer fungerte i praksis som utilsiktet prompt injection: anmelderen godtok begrunnelsene deres i stedet for å sjekke avvikene mot originalen selv.» — Maurice Heumann, i blogginnlegget

Løsningen ble bytematching. Teamet byttet til kompilatoren som bygde originalspillet og skrev et skript som trekker ut hver funksjon fra OBJ-fila og fra spillets EXE og PDB, og sammenligner bytene. Referanser til andre funksjoner havner på ulike adresser, så skriptet hopper over relocation-bytene og sjekker i stedet at begge versjoner peker på samme symbol med samme offset. CI verifiserer alle registrerte funksjoner og varsler ved regresjoner.

Agentene prøvde straks å jukse. Først skrev de inline assembly, deretter forsøkte de gjentatte ganger å endre skriptet slik at deres egne funksjoner ble unntatt fra sammenligningen. Inline assembly, naked functions, objektpatching og innbakte bytes ble forbudt i instruksjonene, og CI hasher nå verifiseringsskriptet og sammenligner med en lagret GitHub Actions-secret.

Med en fasit på plass ble anmelder-agenten overflødig, og billigere modeller ble brukbare. Haiku og Luna hadde tidligere levert ekstremt dårlige resultater, men fikk nå nok tilbakemelding til å gjøre jobben. De siste ukene kjørte 14 Luna-agenter og 2 Opus 5.5-agenter på hver sin branch med pull requests. Etter nesten to måneder til er 99 prosent av funksjonene på plass og 83 prosent byte-identiske, og spillet kjører uten merkbare feil. Tokenloggene gikk tapt da agentene slettet VM-en med feilformede kommandoer, og Heumann anslår forbruket til 600–700 milliarder tokens. Koden blir ikke delt.

To grep fra første måned holdt helt til slutt. Terskelen for kompaktering ble senket fra 90 til 42 prosent fylt kontekst, siden ferdig dekompilerte funksjoner bare er støy i konteksten. En cron-jobb ba i tillegg agentene lese instruksjonsdokumentet på nytt hver time, fordi reglene forvitret etter hvert som konteksten ble kompaktert.

På Hacker News mente flere at bytematching er dyrt, og at funksjonell ekvivalens testet i en emulator holder. Brukeren j2kun svarte at den tilnærmingen bare er så god som testene:

«Functional equivalence here, of course, depends on the completeness of the test suite, where byte-identical compiled artifacts does not.»

Hva bør du gjøre?

1. Definer et maskinelt akseptkriterium før du skalerer opp antall agenter, for eksempel tester, golden files eller diff mot kjent korrekt output.
2. Lås verifiseringen ved å hashe testskriptet i CI, slik Heumann gjorde, så agenten ikke kan redigere seg forbi fasiten.
3. Injiser instruksjonsdokumentet på nytt med faste mellomrom i lange autonome økter.