«Vi har endret SDK-teamet vårt til å tenke på agentopplevelse i stedet for utvikleropplevelse», sier Akshat Bubna, teknologidirektør i Modal, i et intervju med Latent.Space. Uttalelsen kommer rett etter at selskapet hentet 355 millioner dollar i en Series C-runde. To år tidligere var Modal et lite selskap med en Series A på 17 millioner dollar.
Den gamle infrastrukturen forutsatte et menneske som kunne lese dokumentasjon, resonnere seg gjennom YAML og tolke dashboards når noe brøt sammen. Agenter har ikke den luksusen. Bubna peker på Kubernetes som feil verktøy for oppgaven: det ble bygget for langsom skalering og webservere, ikke for kompute-tunge arbeidslaster som svinger kraftig opp og ned. Modal la til GPU-er et år før ChatGPT kom, og bygde sandkasser allerede i mai 2023.
«Hvorfor skal en agent lese seg gjennom hundrevis av Kubernetes-filer og skrive YAML som ikke engang er typet, når den kan gjøre et par endringer i en dekoratør?» — Akshat Bubna, teknologidirektør i Modal
Skalaen blir ekstrem i enkelte tilfeller. RL-rollouts kan kreve 100 000 sandkasser samtidig, ifølge Bubna. Modal eier ingen egne datasentre, men kjører på en kapasitetspool som spenner over 17 skyleverandører, med et eget pålitelighetslag som fanger opp maskinvare som faller ut underveis. GPU-snapshotting lagrer modelltilstanden slik at neste kaldstart går raskere. Selskapet har også åpnet kildekoden til DeFlash, en blokkbasert spekulator for spekulativ dekoding. Bubna oppgir to til fire ganger raskere generering uten kvalitetstap, fordi den store modellen alltid verifiserer tokenene den lille foreslår.
På sikkerhetssiden trekker Bubna en tydelig grense mot dem som vil la språkmodellen selv avgjøre hva agenten får lov til.
«Jeg er skeptisk til LLM-medierte tilganger på sandkassenivå, for du vil ha harde grenser. Ellers kan noen eksfiltrere data» — Akshat Bubna, teknologidirektør i Modal
For deg som kjører agenter i produksjon er poenget at observabilitet nå betyr mer enn å lese koden agenten skrev, og at grensene rundt sandkassen bør håndheves av infrastrukturen framfor av modellen selv.