OrcaReplay spiller av agent-kjøret uten nett og forgrener det til en annen modell

Observabilitetsverktøy forteller deg at et kjør kostet 4,12 dollar og brukte 61 000 tokens. Spørsmålet du faktisk sitter med er hvorfor agenten slettet migrasjonsfila. Den kontrasten er utgangspunktet for OrcaReplay, et verktøy fra teamet bak modellruteren OrcaRouter, som ifølge prosjektets README på GitHub gir deg kjøret tilbake i stedet for å oppsummere det.

«Agent debugging today is archaeology.» — OrcaReplay-dokumentasjonen

Mekanismen hviler på at modell-APIer er tilstandsløse. Agenten sender hele samtalen på nytt hver runde, inkludert forrige rundes verktøyresultater, så en proxy foran modellen ser hele loopen: hver forespørsel, hvert strømmet svar, hvert verktøykall modellen sendte ut og hvert verktøyresultat agent-rammeverket sendte tilbake. Derfor patcher ikke OrcaReplay agenten din. Den setter opp en lokal proxy, setter to miljøvariabler og trekker seg unna.

Fire lag til fanger opp det protokollen ikke ser: et PATH-shim som registrerer exit-koder, faktisk varighet og hvilken strøm en byte kom ut av, en JSON-RPC-tee for MCP-kall, en skygge-git-indeks som tar snapshot av arbeidsmappa per runde, og en fetch-hook for agenter som ikke leser noen base-URL-variabel i det hele tatt. Alt lander i samme tidslinje, sortert etter når det faktisk skjedde og ikke når verktøyet rakk å lese det.

I praksis er det tre kommandoer. orca record claude tar opp agenten uendret, orca replay last kjører den samme sesjonen igjen med nettet blokkert og uten å bruke tokens, og orca replay last --from 4 --model claude-haiku-4-5 holder de fire første turene identiske før en annen modell overtar. orca compare gjør det samme for flere modeller på én gang og karaktersetter hver av dem med en verifiseringskommando du velger selv, for eksempel npm test. Poenget er at modellen da er den eneste variabelen.

Prosjektet er tydelig på grensene sine. Traces ligger lokalt med rettighetene 0600, hemmeligheter fjernes i skrivestien med deny-by-default på miljøvariabler, men dokumentasjonen ber deg likevel behandle en trace omtrent like følsomt som en shell-historikk pluss en heap-dump.

«Redaction is best-effort mitigation, not a guarantee.» — OrcaReplay-dokumentasjonen Kommandoen orca scrub kan skrive om hendelsene og tekst-blobbene i etterkant, men ikke filsystem-snapshotene, siden git-objekter er adressert etter hashen av sitt eget innhold.

Modningsgraden er lav og oppgitt som sådan: trace-formatet er v0, og npm-pakken orcareplay ble første gang publisert 1. september 2026, med 0.1.2 samme dag. Den krever Node 20 eller nyere. Koden er Apache-2.0, mens selve trace-spesifikasjonen er CC BY 4.0 nettopp for at andre skal kunne implementere lesere. En Python-leser finnes allerede.

Hva bør du gjøre?

1. Installer med npm i -g orcareplay og ta opp ett kjør som pleier å gå skeivt, i stedet for å lete i terminalscrollen etterpå.
2. Bruk orca compare med en verifiseringskommando før du bestemmer hvilken modell en agent skal kjøre på, så sammenligner du på samme filer og samme samtaleprefiks.
3. Kjør orca scrub før du deler en trace, og husk at filsystem-snapshotene ikke kan skrives om. Trenger du dem borte, må hele lageret slettes med --drop-fs.