En utvikler venter tålmodig i tre sekunder på at en agent skal tenke ferdig. En femåring gjør ikke det. Den forskjellen er utgangspunktet for Ello, som bygger en KI-tutor i matte og lesing for barn mellom fire og ni år, og som nå har publisert arkitekturvalgene bak den.
Regnestykket er ubarmhjertig. Frontier-modeller bruker 2-3 sekunder på første token og dekoder rundt 30 tokens i sekundet, ifølge Ello. Med handlinger på noen titalls tokens, rundtur-latens og lydavspilling på toppen gir en standard verktøyløkke 3-4 sekunder død tid mellom hver setning. I en tidlig test satt en seksåring og ventet på at agenten skulle tenke. Et annet barn oppdaget at hun bare trengte å følge med deler av tiden og likevel henge med. Det var også øyeblikket hun sluttet å lære.
Den nærliggende fiksen, en mindre og raskere modell, traff et annet problem. Undervisning er en bred oppgave, og de små modellene klarte ikke å følge instruksjoner over hele bredden. En tidlig versjon ga bort svaret hele tiden, og dermed også selve læringsøyeblikket. I stedet bygde Ello en egen kjøreramme der modellen strømmer flere handlinger i én respons, mens en tolker kjører hver handling mens modellen fortsatt genererer de neste. Barnet venter bare på den første handlingen, rundt 30 tokens inn.
Over dette ligger to agenter. «Converser» snakker med barnet. «Planner» kjører asynkront mens barnet tenker eller snakker, måler samtalen mot læringsmålene og styrer konteksten til converser. Begge leser og skriver til en append-only hendelseslogg, slik at ingen av dem venter på den andre. Når converser stiller et lukket spørsmål, gjetter systemet barnets sannsynlige svar på forhånd og genererer et svar til hver gren, slik at responsen ligger klar i det barnet svarer.
Sikkerhetssjekken er den mest lærerike delen. Ellos klassifiserer er selv en språkmodell og bruker 500-1000 ms. I stedet for å vente sendes klassifiseringen og en liten modell av gårde parallelt. Den lille modellen produserer en ivrig åpning som speiler barnet, mens klassifiseringen avgjør om handlingen får kjøres. Sikkerhetssjekken blokkerer altså kjøring, ikke generering. Slår den ut, kastes den ivrige responsen. Ello bruker et talende eksempel: et barn som forteller at en klassekamerat kalte det et stygt navn, skal ikke få navnet speilet tilbake.
«Rammeverk for agenter bygger mot bakgrunnsarbeid, der avveiningen mellom hastighet og tenking er enkel. Sanntidslæring ligger i den andre enden.» — Ello, i blogginnlegget
Da innlegget nådde Hacker News, handlet de fleste kommentarene ikke om arkitektur. De handlet om premisset.
«Ikke gjør det. Ikke frata barn samspillet med andre mennesker. Femåringer trenger ikke privatlærere.» — kommentar på Hacker News, der innlegget fikk 112 poeng og 225 kommentarer
Ello innrømmer kostnadene selv. Planner-modellen er dyrere og kjører hver tur, prediksjonene bommer noen ganger, og selskapet har måttet bygge egen observability fordi det eier løkken sin. Ello skriver at kjørerammen er laget for å kunne erstattes av den enkle løkken den dagen modellene blir raske nok. Det er den delen som betyr noe for deg som bygger: det er sanntidskravet, ikke modellvalget, som avgjør om du kan bruke standard verktøyløkke i det hele tatt.
Bakgrunn
En standard agent-løkke betyr at modellen skriver ut ett eller flere verktøykall, venter på at de kjøres, ser på resultatet og bestemmer neste steg. Mønsteret er det frontier-modellene er tyngst ettertrent på, og derfor er det standard. Ello beskriver hvorfor det bryter sammen når mottakeren er fem år gammel.