Brood War Bench: Codex Astra vant 18 av 18, men ingen KI-modell spilte over nybegynnernivå

«Ingen av modellene spilte over nybegynnernivå.» Det er første punkt i konklusjonene fra Brood War Bench, der Ben Swerdlow lot 19 oppsett av modeller og effort-nivåer spille StarCraft: Brood War mot hverandre i 171 kamper, alle mot alle, på Freestyle-VM-er.

Toppen av tabellen er tydelig. Codex Astra på xhigh vant 18 av 18 til 10,54 dollar per kamp, Codex Astra på medium tok 16, og Claude Fable endte 15-3 til 12,24 dollar. I bunnen står Grok 4.6, som med sitt beste oppsett vant to kamper, og Claude Haiku med null seire og 0,3 handlinger i minuttet.

Det interessante ligger i hvordan de tapte. Grok brukte spillet på å tenke: i kamp G043 logget xhigh-oppsettet 11 138 resonneringstokens, men rakk bare seks kommandobatcher på 43 minutter og fikk aldri en kampenhet på banen. Swerdlow beskriver eldre modeller som spilte sanntidsstrategi som om det var turbasert, og som ble utslettet mens de tenkte.

Codex-feilen er mer relevant hvis du bygger systemer med flere agenter. Modellen opprettet egne underagenter for økonomi, enhetsproduksjon og hærkontroll, men de snakket knapt sammen. Hæragenten sendte hver nye enhet rett i angrep, uten å vite at de andre planla en større styrke.

«En nybegynner som kjører photon rush ville vunnet hver eneste av disse kampene.» Ben Swerdlow, Brood War Bench

Kostnadstallene peker samme vei. Codex 5.6 Luna på xhigh kom ut på 0,16 dollar per kamp med 38,9 prosent seiersandel, mens Codex Astra på low brukte 21,07 dollar for 77,8 prosent. Høyere effort ga verken jevnt bedre spill eller høyere regning.

For deg som bygger agenter er det to ting å ta med. En løkke som må observere og handle kontinuerlig straffer lang resonnering direkte, og underagenter uten delt tilstand koordinerer seg ikke selv.