Cloudflare-agenter blokkerte 16 000 merger mot interne standarder

Tallene kommer fra en bloggpost Cloudflare publiserte 4. august. Selskapets KI-kodereviewer har flagget nær 230 000 avvik fra interne standarder på fire måneder, og i nesten 16 000 tilfeller holdt den tilbake godkjenning eller stanset en merge-forespørsel. En egen spesifikasjonsagent har vurdert rundt 600 tekniske design før noen skrev kode, fordelt på over 3 200 kjøringer.

Grunnlaget heter Cloudflare Codex: over 60 RFC-dokumenter der hvert krav er formulert med nøkkelordene MUST og SHOULD fra RFC 2119. Hver RFC har en eier, en status i front matter og to livsfaser. En godkjent RFC gir bare ikke-blokkerende anbefalinger. Først når den flyttes til «enforced» kan et uoppfylt MUST-krav stanse en merge, og det gir team tid til å tilpasse seg nye krav.

Det tekniske grepet er hvordan regelverket serveres til modellen. Cloudflare mater ikke hele korpuset inn i kontekstvinduet. En egen agent trekker ut alle MUST- og SHOULD-setninger til en JSON-struktur med stabil slug, seksjon, nivå og lenkeanker, slik at reviewer-agenten kan filtrere og hente full RFC-tekst bare når den trenger mer. Den stabile slug-en gjør at samme krav kan spores på tvers av systemer selv når RFC-en oppdateres.

Erfaringen deres med ventetid gjelder alle som legger KI inn i CI. En full reviewer-kjøring tar et par minutter, og utviklerne klaget på ekstra rundtur før de kunne rette funnene. Cloudflare svarte med to alternativer: linter-pakker som sjekker de mekanisk verifiserbare kravene på millisekunder, med TypeScript først og oxlint som motor, og et kommandolinjeverktøy som kjører de samme agentene lokalt mot diffen din.

Spesifikasjonsagenten kjører på selskapets egen plattform: en Worker, med D1 for tilstand, AI Gateway for modellkall og en Cron Trigger som skanner etter nye design. 65 prosent av funnene ble klassifisert som «major», 29 prosent som «minor» og 6 prosent som «critical».

Hva bør du gjøre?

1. Skill godkjent fra håndhevet. Nye regler bør flagges uten å blokkere i en periode før de får lov til å stanse en merge.
2. Ekstraher kravene til strukturert data i stedet for å sende hele dokumentasjonen inn i kontekstvinduet. Gi hvert krav en stabil identifikator du kan spore over tid.
3. Flytt alt som kan sjekkes mekanisk til en linter. KI-review bør ta seg av det en regelmotor ikke kan uttrykke.