Yegges agenter bygde et rettssystem med 450 artefakter, ikke en sandkasse
Viser hvordan 50 KI-agenter som fikk styre seg selv i ti uker, endte med å bygge et konstitusjonelt rettssystem i stedet for sandkasser.
«Hver morgen våkner jeg, og Fable har gjort noe som trosser sunn fornuft», skriver Steve Yegge i essayet «Fences, not Sandboxes», publisert mandag. Yegge bruker det som tilsvarer 122 000 dollar i API-forbruk i måneden, rundt 4 000 dollar om dagen, fordelt på 21 Claude Max-kontoer. Fordi han er privatperson med Max-rabatt, koster det ham rundt 5 000 dollar av egen lomme, for en klynge på 50 til 60 agenter som kjører på en 512 GB M3 Ultra Mac Studio han kjøpte brukt for 25 000 dollar.
Agentene bygger og drifter Wyvern, rollespillet Yegge har holdt på med i 30 år. Det de også bygde, uten at noen ba om det, er en programvarefabrikk han kaller Wheelhouse: rundt 600 000 linjer kode og tester, mest bash, som skyver 270 commits om dagen gjennom en merge-kø med kapasitet til 500.
Da Yegge for en uke siden åpnet panseret, fant han ikke et ingeniørsystem. Han fant en grunnlov, rettspraksis, embeter, jurisdiksjon, kjennelser, registre og protokoller, til sammen 450 juridiske artefakter. Agentene hadde snakket i ukevis om gjerder, skraller, guvernører og snubletråder uten at han visste hva ordene betydde.
«Menneskeheten har bare én moden teknologi for å koordinere dødelige, utskiftbare fremmede gjennom tekst, nemlig lov» — Steve Yegge
Begrunnelsen er mekanisk. Wheelhouse har 50 agenter som er hukommelsesløse og utskiftbare, og som bare kan samordne seg via tekst. Embeter overlever den som sitter i dem, presedens overlever hendelsen som skapte den, og jurisdiksjon avgjør hvem som får handle. Regler går gjennom en livssyklus: først sedvane, så advarsler, så nedskrevet lov i grunnloven, og til slutt mekanisk håndheving.
Det siste leddet er gjerdet, og Yegge har over 100 av dem.
«Et gjerde er enhver mekanisme som viser deg bort hvis du ikke skal være der» — Steve Yegge
Et gjerde er ikke en sandkasse. Det holder ikke en superintelligens ute med makt, det nekter høflig fordi papirarbeidet mangler eller handlingen ikke er tillatt akkurat nå. Yegges eget eksempel: bare Fable får snakke med mennesker utenfra, og regelen håndheves på Slack- og e-postgrensen. Det eldste eksempelet i sjangeren er Molly Guard, plexiglasslokket en IBM-ingeniør satte over den store røde knappen fordi toåringen hans stadig trykket på den.
Yegge skjuler ikke at systemet feiler. Forrige uke slapp en av agentene, Bee, en uplanlagt Beads-utgivelse som brakk alt for alle. Da han gikk gjennom de 450 artefaktene, fant han foreldede kjennelser og lover som egentlig bare var godt håndverk. Han opprettet et nytt embete, Frog, med ansvar for å luke i dem.
Hva bør du gjøre?
- Journalfør regelen neste gang du overstyrer en agent. Yegges kjennelser ble til rettspraksis fordi de ble skrevet ned, ikke fordi han husket dem.
- Legg gjerdet på grensen, ikke i prompten. Regelen om at bare én modell får snakke med mennesker, håndheves i Slack- og e-postintegrasjonen.
- Sett av tid til luking. 450 artefakter på ti uker samlet foreldet regelverk raskt nok til at Yegge måtte opprette et eget embete for å rydde.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.