OpenAI gir hver kodeendring sin egen Codex-agent helt ut i produksjon

«Alt er nå en kodeagent», sier Andrew Ambrosino, som leder desktop-teamet i OpenAI, til Gergely Orosz i nyhetsbrevet The Pragmatic Engineer. Orosz intervjuet sju ingeniørledere og ingeniører om hvordan selskapet jobber nå som Codex har blitt ryggraden i nesten alt.

Overgangen gikk fort. På fire måneder gikk avdelinger som økonomi, rekruttering og juss fra nesten 0 til 90 prosent bruk av Codex, uten pålegg ovenfra. Codex-appen kom for Mac i februar og Windows i mars, og ChatGPT Work, bygget på samme agentmotor, i juli. Orosz tar to forbehold: den interne Codex-versjonen er koblet til nesten alle OpenAIs systemer og langt mer avansert enn den du får tilgang til, og ansatte har i praksis ubegrenset tokenbudsjett.

Veksten merkes i infrastrukturen. Antall pull requests per ingeniør vokser som en hockeykølle, og enkelte systemer i bygg-, test- og deploy-kjeden har fått rundt 10 ganger mer last på omtrent seks måneder, ifølge Venkat Venkataramani, VP of Engineering for Applied Infra.

«Måten vi gjør kodegjennomgang på i dag, gir mindre og mindre mening, og det samme gjelder pull requests» — Venkat Venkataramani, OpenAI

Slik ser fabrikken ut

Et menneske definerer ønsket resultat. Codex henter kontekst fra Git, GitHub, Slack, Notion, Databricks og Datadog, og OpenAI har flyttet all dokumentasjon inn i kildekoden så agentene finner den. Agenten skriver koden, kjører testene, åpner en pull request og passer på den til CI er grønn. Deretter tar flere agenter over:

1. Kodegjennomgang gjøres av flere agenter med hver sin domenespesialist-rolle, og endringer klassifiseres etter risiko. Deler av kodebasen kan velge en agent som godkjenner lavrisiko-endringer automatisk, mens høyrisiko-endringer får flere gjennomganger eller krever et menneske.
2. Når et menneske har godkjent en endring for produksjon, får den sin egen agent. Den finner feature-flagget, bestemmer hvilke signaler som betyr suksess eller feil, bygger sitt eget overvåkingsdashboard og følger utrullingen.
3. Perf Factory lar agenter gå gjennom varsler og dashboards, fjerne duplikate signaler, finne reelle latensregresjoner og foreslå fikser.
4. Hendelsesagenten Sevbot samler kontekst og foreslår tiltak ved driftsavbrudd, men utfører dem bare når en ingeniør ber om det.

Målet er en autonom SRE per endring, men vaktordningene er ikke borte. Orosz var selv skeptisk til at en agent med rollen som cloud-ekspert gir en annen gjennomgang enn en generell agent. Han peker på at forskjellen ligger i konteksten agenten har tilgang til, og i at den holder seg til sitt eget domene innenfor et begrenset kontekstvindu.

Hva bør du gjøre?

1. Flytt dokumentasjonen inn i repoet ved siden av koden, slik OpenAI har gjort, så kodeagenten finner den uten ekstra oppsett.
2. Del opp KI-kodegjennomgangen i smale roller, for eksempel sikkerhet og infrastruktur, med hver sin kontekst i stedet for én generell reviewer.
3. Klassifiser endringer etter risiko, og la bare lavrisiko-endringer gå gjennom uten menneskelig godkjenning.