0,6 % er avviket Chutes måler mellom den desentraliserte kjøringen og en vanlig sentralisert baseline ved samme antall treningssteg. Selskapet bak inferens-plattformen Chutes beskriver resultatet på egne nyhetssider, og kaller det så vidt de vet første gang ikke-blokkerende desentralisert trening holder på en rekurrent arkitektur.
Vanligvis tvinger desentralisert trening fram et valg: enten stopper GPU-ene og venter på hverandre, som er tregt og dyrt, eller så hopper de over synkroniseringen og lar kvaliteten gli. Chutes kjørte forsøket på det vanskeligste tilfellet med vilje, en rein rekurrent modell kalt Gated DeltaNet, uten transformer- eller mixture-of-experts-lag som kunne pyntet på tallet. Rekurrente modeller er sekvensielle, hvert steg avhenger av det forrige, og er derfor hardest å trene uten tett synkronisering.
«Så vidt vi vet er dette første gang desentralisert, ikke-blokkerende trening holder på en rekurrent arkitektur» — Jon Durbin, skaper av Parallax
Poenget er retningen mot Parallax, Chutes' prosjekt for å trene sterke modeller på maskinvare folk allerede har, uten å eie et datasenter. En rekurrent arkitektur dropper også key-value-cachen som vokser for hvert token, noe teamet peker på som en egen grunn til å satse på den. Kjernekoden på lavnivå, MSA-attention-kjernene, ligger åpent på GitHub.
Dette er en forskningsretning under arbeid, ikke et ferdig system. Men om ikke-blokkerende trening holder på det hardeste tilfellet, bør lettere arkitekturer som transformere følge etter, og da flytter det økonomien for hvem som kan trene konkurransedyktige modeller.