Jev-basert kodegjennomgang viser bare P0-endringene i KI-agentens pull requests

230 endrede filer i én pull request er utgangspunktet for jev-code-reviewer, et MIT-lisensiert verktøy fra GitHub-organisasjonen egma-ai. README-en slår fast at de fleste agent-genererte PR-er i dag blir flettet inn uten reell gjennomgang, fordi ingen klarer å holde oversikten over en så stor diff. Verktøyet klassifiserer derfor hver endring som P0, P1 eller P2 og viser bare P0 som standard. Diffen beskrives i naturlig språk, med originalkoden ett klikk unna.

Klassifiseringen gjøres av Jev, TypeSafe AIs nye beslutningsmodell som returnerer sannsynligheter i stedet for tekst, mens OpenAI skriver forklaringene. Du kjører en lokal server med jev-reviewer serve, peker jev-reviewer analyze mot en PR-URL og en lokal klone, og en Chrome-utvidelse bytter ut koden på GitHubs «Files changed»-side. Kravene er Node.js 22+, innlogget GitHub CLI og API-nøkler hos både TypeSafe og OpenAI. Verktøyet poster ingenting til GitHub.

Standardpolicyen i config/policy.json definerer P0 som endringer i tillatelser, sikkerhetsgrenser, destruktive operasjoner, inkompatible kontrakter eller forretningsbeslutninger. Stier under auth/, migrations/ og .github/workflows/ vurderes alltid, og når modellen er usikker, havner endringen i P0. Prioritetene handler om oppmerksomhet, ikke om koden er riktig, understreker README-en. Du kan overstyre policyen per repo med en egen .jev-reviewer.json.

Begrensningene

README-en er ærlig om hvor grensene går. Bare de 12 første endringsenhetene (diff hunks) i stirekkefølge analyseres, og med --max-units kan du gå opp til 100. Filer med uanalyserte endringer beholder GitHubs vanlige visning. Nøklene lagres ukryptert i ~/.config/jev-reviewer/credentials.json, og bare den klassiske «Files changed»-siden støttes, ikke GitHubs nye /changes-visning.

Jev ble lansert i september og tar bare betalt for input: $0,042 per million tokens, mens output er gratis, ifølge Simon Willison. Willison viser samtidig til TypeSafes egen dokumentasjon om modellens svakheter.

«Den er foreløpig ikke god med tall, datoer eller "adversarial content".» — Simon Willison, om Jev 1.13

Kildekode fra en agent kan inneholde nettopp slikt innhold, og policyen ber modellen ignorere instruksjoner i kode og PR-tekst. Mottakelsen på Hacker News var kjølig. Flere mente at en PR med 230 filer er en prosessfeil som bør løses ved å be agenten dele opp arbeidet, ikke med enda et KI-lag.

«Jev er ikke god på resonnering, det er en generisk klassifikator på lavt nivå. For gjennomgang og klassifisering av kode vil jeg sterkt fraråde å bruke Jev.» — kushbhuwalka på Hacker News

Hva bør du gjøre?

1. Kjør npm run demo først: replay-en på 127.0.0.1:4731/demo gjør ingen kall mot leverandørene, så du ser hva du får før du deler kode.
2. Bruk verktøyet bare på repoer der det er greit at endret kode og nærliggende kontekst sendes til TypeSafe og OpenAI.
3. Legg dine egne kritiske stier inn i alwaysReviewPaths i .jev-reviewer.json, og øk --max-units på store PR-er slik at færre filer faller utenfor.