Accenture fant token-sluket sitt, og det er PDF til markdown

«Jeg lærer at det er en av de store token-tyggerne. Å gjøre PDF-er om til markdown, stemmer det?» (Stuart Henderson, leder for kundegruppen i Accenture)

Svaret fra Justice Kwak, Accentures strategiansvarlige for agentisk KI, var at det er nøyaktig det selskapets egne data viser. Utvekslingen stammer fra møtelyd som ifølge 404 Media er lekket, i en sak publisert 24. juni. Simon Willison løftet den fram i lenkebloggen sin 7. august, under overskriften om at PDF-er er et forferdelig medium.

Det andre funnet i samme utveksling er like konkret. Kwak sier at det ikke er ingeniørene som driver tokenforbruket internt, men i stor grad de som ikke er ingeniører.

Kombinasjonen forklarer en kostnadsprofil mange kjenner igjen. En PDF som først rasteriseres til bilder og deretter sendes gjennom en modell for å bli markdown, koster mange ganger mer enn den samme teksten hentet ut direkte fra tekstlaget. Gjør en ikke-teknisk bruker det på et par hundre sider i måneden, blir regningen synlig uten at noen har skrevet en linje kode.

Rammen rundt saken er at selskaper nå leter aktivt etter hvor KI-budsjettet forsvinner. Willisons eget poeng er at Accenture kanskje kan spre erkjennelsen videre i næringslivet: PDF er dårlig egnet til å formidle informasjon i utgangspunktet.

Kostnadslekkasjen sitter oftest i forbehandlingen framfor i modellvalget, og i hvem som får kjøre den uten å se måleren.