En britisk regnskapsfører tar typisk mellom 1 000 og 2 800 dollar for å føre en kvartalsvis MVA-oppgave. GLM 5.2 gjorde samme jobb for 2,73 dollar, ifølge en benchmark publisert av Vineyard Finance. Modellen la inn 59 transaksjoner i regnskapssystemet via et kommandolinjeverktøy, brukte 68 minutter, og bommet med 7 pence på nettoposisjonen i rubrikk 5.
Tallet er ekte. Rammen rundt fortjener like mye oppmerksomhet. Bøkene er Vineyard Finances egne, fra første kvartal 2026, og selskapet selger et KI-drevet regnskapsprodukt. Da saken nådde Hacker News, svarte forfatteren selv i tråden:
«Jeg var en av de menneskelige bokholderne i denne benchmarken, og siden jeg visste at dataene til slutt skulle brukes til å evaluere modeller, var jeg ekstra nøye. Så jeg antar dette er en flink bokholder.» — Adam Kurkiewicz, Vineyard Finance
Bloggen er også åpen om at menneskene gjorde en bredere jobb enn modellen. De fant fakturaene selv, i innbokser og hos leverandører, og resonnerte seg fram til forhold som ikke lar seg utlede av bankfeed og kvitteringer. Modellen fikk de samme forholdene servert som «user notes» på to av de 59 transaksjonene. Forfatterne skriver dessuten at modellens resonnering var påvirket av at den var klar over å bli testet.
Prislappen tåler også et blikk til. 2,73 dollar er rå token-kostnad. Modellen kjørte på Fireworks AI sin serverless-tjeneste, som ikke oppgir hvilken kvantisering den bruker, og 93 prosent av de 5,73 millionene prompt-tokens ble servert fra cache til en femtedel av full pris.
Hva bør du gjøre?
- Les tallet som en øvre grense for hva som er mulig, ikke som en pris du kan budsjettere med. Benchmarken er ikke publisert som kjørbar suite.
- Test på dine egne bilag hvis du vurderer noe lignende. GLM 5.2 har åpne vekter, og den vanskelige delen er å finne kvitteringene, ikke å kategorisere dem.