Poolside bruker åtte uker fra trening til lansering med under 70 forskere

«Modellbygging er til syvende og sist 90 prosent ingeniørarbeid.» Slik oppsummerer Eiso Kant sitt eget premiss i et intervju med Latent.Space, der vertene swyx og Vibhu bruker en drøy time på å grave i hvordan Poolside faktisk bygger modellene sine. Selskapet har under 70 forskere og rundt 35 ingeniører, og kjører etter Kants eget anslag langt mer enn 10 000, kanskje mellom 10 000 og 20 000, eksperimenter i måneden.

Tallet som gjør resten konkret er kalendertiden. Laguna XS 2 gikk fra treningsstart til lansering på fem uker. Laguna S brukte åtte. Da episoden ble spilt inn, hadde Poolside allerede startet neste treningskjøring dagen før, fordi ettertreningen på den forrige var ferdig og kompute var ledig. Kant oppgir også null vekk-og-fiks-hendelser under Laguna S-kjøringen, og ingen alvorlige nattevarsler i løpet av året, med unntak av de første timene etter oppstart av en ny kjøring.

«Vi behandler det slik du ville sett på en SpaceX-fabrikk. Den første raketten er veldig vanskelig å bygge, men den langt større utfordringen var å bygge fabrikken.» — Eiso Kant, medgründer i Poolside

Poenget hans er at modellen skal være et biprodukt av prosessen, ikke et mål i seg selv. Det henger sammen med hvordan endringer kommer inn: når en ny kjøring starter, er eksperimentresultatene fra dagen før allerede med. Ingen frysperiode 90 dager i forveien, fordi infrastrukturen er til å stole på. Kant beskriver det som et rent infrastrukturproblem, og sier at et system bygget for å kjøre eksperimenter raskt og reproduserbart viser seg å være akkurat det agenter trenger for å kjøre eksperimentene selv.

Veien dit gikk gjennom en dyr fiasko. Fra 2015 brukte Kant fire til fem år og 12 millioner dollar på Sourced, et åpent selskap som prøvde å bygge språkmodeller for kode før markedet brydde seg. Det feilet, og han sier selv at de hadde rett kurs men skulle ha skalert opp. Poolside skrev sin første treningskodebase fra bunnen av i stedet for å forke et åpent prosjekt, og brukte tre uker på å finne én optimaliseringsbug som gjorde treningen ustabil.

«Vekter er binære. Å gi noen vektene setter dem ikke i stand til å gjenskape det du gjør.» — Eiso Kant om forskjellen på åpne vekter og åpen forskning

Det er skillet Poolside legger vekt på nå. Selskapet snudde til åpne vekter tidligere i år, og Kant begrunner det med at han heller vil leve i en verden med 100 grunnmodellselskaper enn fem, selv om Poolside skulle vært en av de fem. For deg som bygger på åpne modeller er det andre halvdelen som betyr noe: de detaljerte tekniske rapportene forteller hvilke valg som faktisk drev resultatene, og det er den delen kinesiske åpne slipp sjelden inkluderer.