Agentsvermen til rekursiv.ai kjørte 6 164 eksperimenter og slo NanoChat-rekorden

6 164 eksperimenter på tre dager: så mye kjørte KI-agentene til rekursiv.ai for å forbedre en språkmodell som bare får fem minutters trening på én B200-GPU. Ifølge rekursiv.ai-bloggen endte oppskriften på 0,88779 bits per byte i snitt over ti seeds på Karpathys NanoChat-benchmark, mot 0,90154 for forrige leder Hyra. Lavere er bedre.

Agentene jobbet i bølger på to timer, og hver ny bølge startet med instruksjoner som den forrige hadde foreslått. Mange lag delte arbeidet mellom en hovedforsker som valgte eksperimenter, en integrator som eide koden og GPU-innsendingene, og en bevisarbeider som sjekket implementasjoner og resultater. Mesteparten av søket gikk på H200-GPU-er før oppskriften ble flyttet til B200.

Limet er Trackinizer, en åpen grafdatabase som sporer hvilke hypoteser, eksperimenter og konklusjoner som bygger på hverandre. Et mislykket forsøk ble derfor stående som bevis. Den første trigram-varianten tapte (0,9751 mot 0,9686), men en ny utforming på et regularisert utgangspunkt forbedret alle tre seeds fra 0,96343 til 0,95987.

Den største enkeltgevinsten kom fra data, ikke fra kjerner. Å doble treningsdataene fra sju til fjorten shards tok BPB fra 0,96140 til 0,92088 med backend, bredde og batch holdt fast. FP8 ga isolert 1,12 til 2,05 ganger høyere gjennomstrømning, men det viste ikke at hele treningsløkka ble raskere.

Mennesker måtte fortsatt følge med. I en gjennomgang av 48 startede kampanjer fant rekursiv.ai 35 ferdige resultatpaneler som ventet på kvalifisering etter et tjenesteavbrudd.

Hva bør du gjøre?

1. Les den ferdige oppskriften på GitHub og se hvilke gevinster som kom fra data, kapasitet, n-gram-minne og kjerner før du kopierer noe inn i egen trening.
2. Test Trackinizer, Priml og Configgle hvis du lar flere agenter jobbe mot samme problem, og lagre hypotese, forventet utfall og mislykkede forsøk sammen med resultatene.
3. Mål gevinster i hele treningsløkka, ikke bare på en isolert operasjon, slik FP8-eksempelet viser.