Qwen3.8-27B tar igjen Fable 5 på LiveCodeBench ved å orkestrere seg selv gjennom filer

Forskere fra Persis Capital i Toronto har lagt ut metoden GVS5H på GitHub, med koden under MIT-lisens og artikkelen under CC BY 4.0. Én enkelt modell spiller både manager og arbeider. Manageren skriver en plan og en oppgaveliste, hver arbeider starter med tom kontekst og leser bare plan.md, notes.md og solution.py fra disk. Løkka går opptil 10 runder, og offentlige tester kjøres mellom rundene der oppgaven har dem.

På de 100 nyeste harde oppgavene i LiveCodeBench, fem kjøringer per oppsett, havner Qwen3.8-27B på 92,4 prosent mot Claude Fable 5s 90,4 med ett enkelt kall. Differansen er ikke statistisk signifikant (p = 0,88), så «tar igjen» er dekkende, ikke «slår». Uten oppsettet ble åtte av Qwen-kallene ustabile og brant hele budsjettet på 250 000 tokens uten å levere kode, ett av dem ved å gjenta samme frase 7 743 ganger.

Prisen er mindre imponerende enn overskriften. Med OpenRouter-priser koster én runde over de 100 oppgavene 47,82 dollar for Qwen3.8-27B med manager, mot 61,11 for Fable 5. Forfatterne skriver selv at fordelen forsvinner ved 1,28 ganger antatt token-pris. Det billige alternativet er Qwen3.8 Flash Next: 93,0 prosent for 5,76 dollar. Fable 5 ble heller aldri kjørt med manager, så sammenligningen er orkestrert mot uorkestrert.

«Beklager, men det er ikke slik benchmarking fungerer» — sams99 på Hacker News

Kritikken i tråden går på at verifikatoren gir manager-armen testsvar som enkeltkallet ikke får, og at LiveCodeBench-oppgavene er fra før april 2025. Artikkelen innrømmer også at enkelte modeller står stille eller blir dårligere med oppsettet.

Hva bør du gjøre?

1. Kjør --engine single og --engine multiagent mot samme modell i codebase/v2-current før du tror på tallene for ditt eget bruk.

1. Prøv mønsteret i din egen agent-løkke: fersk kontekst per kall, delt tilstand i filer, og tak på 4 000 tegn for planen og 8 000 for notatene så de ikke vokser uten grense.