Lilian Weng oppsummerer 35 artikler om hvordan KI forbedrer seg selv gjennom rammeverket
onsdag 8. juli · KI-generert · Kilde: Latent.Space
Lilian Weng har oppsummert rundt 35 artikler og argumenterer for at rekursiv selvforbedring i KI i økende grad handler om rammeverket rundt modellen (loopen, verktøyene og konteksten), ikke om at modellen skriver om sine egne vekter.
Rekursiv selvforbedring (RSI) har lenge blitt beskrevet som en modell som gjør seg selv bedre ved å endre sine egne vekter. Lilian Weng, tidligere kjent for forskningsbloggen sin og nå medgründer i Thinky, snur på perspektivet i en ny gjennomgang som Latent.Space' AINews-oppsummering løfter frem. Ifølge oppsummeringen går hun gjennom rundt 35 artikler og samler designmønstrene for rammeverk som har vist seg å fungere, før hun tar for seg litteraturen på hvordan slike rammeverk optimaliseres, fra den mye siterte ACE-artikkelen til nyere retninger som «meta-rammeverk».
Poenget hennes er at selv om enkelte forbedringer etter hvert blir bakt inn i selve modellen, forsvinner ikke arbeidet med rammeverket:
«Selv når mange forbedringer i rammeverket til slutt blir internalisert i kjernemodellen, forsvinner ikke behovet for å spesifisere mål og kontekst.» — Lilian Weng, gjengitt i Latent.Space
Hun står ikke alene om vinklingen. Sakana kobler tankegangen til egne prosjekter som The AI Scientist, ShinkaEvolve og Darwin Gödel Machine, mens LangChain trekker i samme retning med et nytt «Deep Agents»-kurs og et rammeverk-prosjekt med åpen kildekode. Selv Greg Brockman i OpenAI har ifølge oppsummeringen begynt å snakke varmt om denne typen arbeid med rammeverk.
For deg som bygger med KI, er dette mer enn en akademisk distinksjon. Vektene i en modell kan du ikke røre. Men loopen, verktøyene og konteksten du gir agenten, sitter du selv med hånden på. Weng sier i praksis at det er her mye av innflytelsen ligger, også når modellene blir bedre. Å spesifisere hva agenten skal gjøre, og gi den riktig kontekst, blir ikke overflødig med neste modellgenerasjon.