Wattage priser bortkastede tokens i agent-sporene dine og feiler CI når kostnaden stiger

Åtte detektorer, én karakter fra 0 til 100 og en exit-kode: det er hele produktet. Wattage er et nytt open source-verktøy fra GitHub-brukeren faizannraza som leser en OTLP-eksport av agent-sporet ditt, priser hvert eneste modellkall mot et datert prissnapshot og forteller hvor tokenene brennes. Kommandoen uvx wattage report trace.json kjører uten konfigurasjonsfil, uten API-nøkkel og helt offline, og resultatet kan skrives ut i terminalen eller som en selvstendig HTML-flammegraf.

Sporene leses etter OpenTelemetry-konvensjonen for GenAI og normaliseres til én datamodell med sesjoner, oppgaver, løkker, iterasjoner og kall. Oppå den kjører detektorene: prefix_churn finner et stabilt kontekst-prefiks som sendes på nytt i stedet for å caches, cache_gap fanger caching som er slått på men ikke innløses av senere lesninger, verbosity og reasoning_overspend måler output og resonneringstokens mot hva steget faktisk trengte, og model_mismatch peker på dyre modeller som gjør billig arbeid. Hvert funn får en pris i dollar, et konkret forslag til fiks og en risikoetikett som sier om fiksen kan endre kvaliteten på svaret.

Den mest interessante detektoren er nonconvergence, som skal fange en agent som maler rundt i en løkke uten å komme videre. Repoet dokumenterer et eget benchmark mot en SHA-256-basert duplikatsjekk over ti håndmerkede syntetiske løkker: Wattage får F1 på 1,00, mens den eksakte hashsjekken lander på 0,25 fordi den bare gjenkjenner 14 prosent av tilfellene. Poenget er reelt nok, siden en retry med ny tidsstempel eller en agent som veksler mellom to strategier aldri gir identiske strenger. Men ti syntetiske løkker laget av samme person som skrev klassifikatoren er et tynt grunnlag, og tallet bør leses som en demonstrasjon av mekanismen, ikke som en målt treffrate på ditt eget spor.

Det samme gjelder gevinsttallet. På et ekte fanget spor viser simuleringen 44,7 prosent lavere kostnad ved å slå på prompt-caching for det stabile prefikset, men sporet er tre turer langt og forskjellen er 0,000199 mot 0,000110 dollar. Mekanismen skalerer, beløpet i eksempelet gjør det ikke.

«Wattage dikter aldri opp et tall: en modell uten pris etterlater kallets kostnad på null og feiler wattage ci høylytt med exit-kode 4, framfor å gjette.» — Wattage-dokumentasjonen

Den delen som skiller verktøyet fra en vanlig kostnadsrapport er wattage ci. Den sammenligner sporet mot en committed baseline-fil og feller bygget på terskler du selv setter, for eksempel score_below:80 og cost_delta_pct_above:5, og legger igjen en tabell med per-detektor-differanser som PR-kommentar. Utdata kommer også som SARIF, så funnene dukker opp i GitHubs sikkerhetsfane, og som JUnit XML for andre CI-systemer. Dokumentasjonen er ærlig om fellen: en PR-jobb kjører på en engangs-utsjekking og kan ikke oppdatere baseline-filen, så du trenger en egen workflow på hovedbranchen som committer den oppdaterte baselinen etter hver merge. Hopper du over den, sammenligner alle framtidige PR-er seg mot samme foreldede tall.

Prosjektet er ferskt og lite kjent. Hacker News-tråden har seks poeng og to kommentarer, og prissnapshotet er datert 18. juli 2026, så prisene må vedlikeholdes for å holde seg sanne.

Hva bør du gjøre?

1. Start med et spor du allerede har. Kjører du OpenTelemetry-instrumentering på agenten, eksporterer du til OTLP JSON og kjører uvx wattage report mot fila uten videre oppsett.
2. Sett opp baseline-workflowen på hovedbranchen samtidig som CI-gaten. Uten den er det ingen som committer den oppdaterte baselinen, og gaten måler alle PR-er mot et foreldet tall.
3. Les prefix_churn og cache_gap først. Manglende prompt-caching på et stabilt systemprompt er den billigste feilen å rette, og den eneste som ikke kan endre kvaliteten på svarene.