Beste KI-agent består bare 10,8 prosent av Surge AIs 50 skatteoppdrag

10,8 prosent. Så stor andel av forsøkene består Claude Sonnet 5.5 på DAYJOB: Tax, en ny benchmark for profesjonelt skattearbeid fra Surge AI. Claude Fable 5.1 følger med 9,6 og Claude Opus 5.5 med 9,2 prosent. Et forsøk består bare hvis det oppfyller minst 95 prosent av oppgavens kriterier, som dekker utregninger, dokumentasjon, vesentlige problemstillinger og ferdig leveranse.

Oppgavene er amerikansk skattepraksis fordelt på åtte fagområder, fra personlig skatt til internasjonal skatt og selskapstransaksjoner. Til sammen ligger det 1 789 filer i arbeidsområdene, med median 30 og opptil 123 per oppdrag: 1 487 PDF-er, 117 Excel-arbeidsbøker, 38 Word-dokumenter og diverse e-poster, bilder og CSV-filer. Ett oppdrag har et foto av en håndskrevet kvittering. Et annet har en utsendingslogg som viser at et selskap klienten tror bare opererer i Alabama, har hatt mannskap i fem stater.

Feilene Surge AI trekker frem handler om skjønn. En klient vil selge leiligheten og spør om to salgsdatoer. Agenten vurderte begge korrekt, men nevnte ikke at skattefritaket på opptil 250 000 dollar i gevinst forsvinner hvis salget skjer etter august 2027. Opus fant fristen i alle fem forsøk, mens modellen Surge AI kaller Astra ikke fant den én gang. I et annet oppdrag snudde det: et par som skal gå fra hverandre, spør hvordan de deler pensjonskontoene, og Opus la i alle fem forsøk til grunn at de ikke var gift, selv om filene viste samliv i Texas og en seremoni i Colorado.

«You aren't legally married, so neither account can be split without triggering taxes and penalties.» — Claude Opus 5.5 i ett av forsøkene

Astra så behovet for å avklare sivilstanden i fire av fem forsøk. Ifølge Surge AI starter de fleste skattebenchmarker, som TaxBench med 114 spørsmål, med et ferdig definert problem. DAYJOB måler om agenten finner problemet selv.

For deg som bygger agenter for fagfolk betyr det at evalueringene dine trenger oppgaver der det viktigste aldri står i forespørselen.