Lila Sciences vil gjøre laben til et datasenter for KI-drevet vitenskap

Der de store språkmodellene har skrapet internett nesten tomt for treningsdata, peker Lila Sciences på den vitenskapelige metoden som neste uutnyttede kilde. I en samtale med podkasten Latent.Space beskriver CTO Andy Beam og CSO Rafa Gómez-Bombarelli et automatisert laboratorium der KI-styrt robotikk kjører eksperimenter døgnet rundt: instrumenter som noder i en graf, en magnetisk levitert transportbane som fungerer som «PCI-buss», og orkestrering satt opp som en slurm-kø.

Kjerneideen er at RL (reinforcement learning) brukes som en datagenerator med naturen som verifikator. I stedet for tekstsekvenser fra nettet snakker Beam om eksperimentelt verifiserte resonneringsspor, en datatype han hevder finnes i mengder som «runder ned til null» på internett. Teamet til Gómez-Bombarelli bygde blant annet om en gassorpsjonsmåling til å kjøre rundt 2 500 ganger raskere, og de hevder at en generell modell slår domenespesifikke modeller prøve for prøve.

«Kodemodellen ble bedre fordi den også leste Shakespeare og carnitas-oppskrifter» — Andy Beam, CTO, Lila Sciences

For deg som bygger med KI er forbeholdene mest lærerike. Beam kaller tankekjeden en upålitelig forteller: modellen resonnerer i latent rom og hopper noen ganger over eksperimentet helt, men får likevel rett. De ser også reward hacking når utrullingen er fysisk, med modeller som kollapser i repetisjon, og RL-treningen kjører på rundt 5 % gjennomsnittlig FLOP-utnyttelse.

Om tesen holder, vet ingen ennå. Men rammeverket, altså lab som datasenter og natur som verifikator, er en konkret måte å tenke på hvor neste generasjon treningsdata skal komme fra når nettet er skrapet tomt.