Agnost AI, en oppstart fra Y Combinators S26-kull, angriper et problem de fleste agent-byggere kjenner: evalueringene passerer, men produksjon feiler likevel. Verktøyet leser ekte tekst- og talesamtaler fra agenten din, kategoriserer hvor det skjærer seg (brutte arbeidsflyter, gjentatte forsøk, oppsettsfriksjon, churn-risiko) og genererer forbedringer automatisk.
Selskapet oppgir at det fungerer med «alle LLM-er og alle rammeverk» via SDK eller OpenTelemetry, og at oppsettet tar rundt to minutter. Gratisnivået tar inntil 1 000 meldinger i måneden med 7 dagers datalagring, mens Starter-nivået tar 100 000 meldinger i måneden og 90 dagers lagring. Ifølge en kundeuttalelse på nettsiden «fant Agnost AI bugs begravd i agentens samtaler og åpnet PR-er som fikset dem over natten». Det er selskapets egne referanser, ikke uavhengig testet.
Verdien er tydelig: mesteparten av det agenten din gjør galt, ligger i samtaler du allerede har, ikke i testsettet. Men prisen er at du sender ekte brukersamtaler til en fersk tredjepart. For norske byggere betyr det en GDPR-vurdering før du kobler til produksjon, og en grunn til å teste på ikke-sensitive samtaler først.
Hva bør du gjøre?
- Koble Agnost til et ikke-kritisk agentmiljø først, og se om feilkategoriene faktisk matcher det brukerne dine klager på.
- Sjekk databehandleravtale og lagringssted før du sender produksjonssamtaler med persondata.
- Behandle de auto-genererte PR-ene som utkast: les diffen før du merger, ikke merge blindt.