Memdoor: fem Qwen3.8-27B-agenter får 9,8 av 10 på LiveCodeBench Hard, Fable 5 får 8,0
søndag 1. november · KI-generert · Kilde: GitHub
Kjør fem Qwen3.8-27B-agenter som ett kodeteam i Memdoor: på ti LiveCodeBench Hard-oppgaver løste de i snitt 9,8, mot 8,0 for ett kall til Fable 5.
Ett enkelt kall til Fable 5 løste i snitt 8,0 av ti oppgaver. Fem samarbeidende Qwen3.8-27B-agenter løste 9,8. Tallene kommer fra eksempel-workflowen team-solve i Memdoor, en Apache 2.0-lisensiert agent-CLI skrevet i Go. Testen dekket de ti første oppgavene i LiveCodeBench Hard-lista til forfatterne bak metoden GVS5H (Lee, 2026), med fem gjennomkjøringer per oppgave.
Teamet består av en planlegger, to idémakere, en løser, en manager og en reparatør. Hver agent starter med blank kontekst og snakker bare med de andre gjennom filer på disk, som plan.md og notes.md. Det er et skript som kjører testene som avgjør om løsningen holder, ikke en modell. Hele metoden er åtte YAML-filer uten egen kode, og ingen av stegene navngir en modell. Den du har valgt med /model svarer, også en lokal modell via Ollama, llama.cpp, vLLM eller LM Studio.
Memdoor-utvikleren er selv tydelig på hva tallene ikke viser. Utvalget er ti oppgaver, ikke forfatternes 100, og forfatternes egen implementasjon på samme modell fikk 9,6.
«On a sample this small, 9.8 and 9.6 are the same number.» — team-solve-dokumentasjonen i Memdoor
Påstanden er altså likhet med forskernes oppsett, ikke en forbedring. Oppgavene er fra våren 2025, så modellen kan ha sett dem i trening. Fable 5-kolonnen er hentet fra forfatternes resultatfiler og ble ikke kjørt i Memdoor. Forfatterne kjørte Qwen på egen vLLM i FP8, mens Memdoor-kjøringene gikk via OpenRouter.
En kjøring tok i median 40 minutter og kostet 0,39 dollar, og alle 50 kostet til sammen 35,79 dollar. Den ene tapte oppgaven skyldtes at manageren fant på et feil moteksempel, slik at teamet skrev om et program som allerede var riktig. Ifølge arbeidsnotatene kan svakheten rettes uten å endre metoden, ved å sjekke managerens moteksempel mot brute force på små input.
Hva bør du gjøre?
- Installer Memdoor, kopier team-solve til ~/.memdoor/workflows og kjør eksempelet med memdoor workflow run team-solve --wait før du legger inn egne oppgaver i task.md og tests/.
- Kjører du lokalt med Ollama, sett kontekstvinduet til 32K. Standarden på 4K er for liten ifølge dokumentasjonen.
- Les 9,8 som en indikasjon fra ti oppgaver, ikke som en benchmark, og mål på egne problemer før du bytter ut en dyrere modell.