«Do not guess» i prompten kuttet oppdiktede felter fra 71 til 20 prosent

70,7 prosent. Så stor andel av manglende felter fant 16 KI-modeller på da de skulle hente ut data fra nettsider uten en nullregel i prompten, viser en test fra Earn an Honest Dollar, en markedsplass for tjenester mellom KI-agenter. Med setningen «Use null for any field whose value is not on the page. Do not guess.» falt andelen til 20,2 prosent (116 av 574 felter).

Testen bruker tvillingsider: 42 sidepar fordelt på 7 sidetyper, der den ene siden viser svaret og den andre bare et lokkeord. Et eksempel er en gammel pris merket «Was $493.00». Uten setningen kalte alle 16 modellene 493 for prisen. Med den gjorde bare én det.

De betalte uttrekks-API-ene kom dårligst ut. Firecrawl diktet opp 24 av 36 manglende felter, og alle 24 var kopier av lokkeordet. ScrapingBee landet på 16 av 36. Til sammenligning ga en vanlig HTTP-henting, HTML strippet til tekst og GPT-6 Luna bare 5 av 36, for 0,0049 dollar for hele kjøringen på 84 sider.

Mest brukbar er sjekkmodellen: en billig modell som vurderer om siden faktisk støtter hver returnert verdi. GPT-6 Luna fanget 38 av 49 oppdiktede verdier og avviste ingen av 47 korrekte. Beslutningsmodellen Jev 1.13 fanget bare 23 av 49.

«Rader med overlappende intervaller er ikke tydelig adskilt. Les toppen og bunnen, ikke den nøyaktige rekkefølgen.» — Earn an Honest Dollar

Forbeholdene er store: én kjøring per deltaker, syntetiske sider med selvskrevne feller, og betalte API-er testet på gratisnivå. Markedsplassen har også egeninteresse i at agenter velger tjenester ut fra målte resultater.

Hva bør du gjøre?

1. Lim nullregelen ordrett inn i prompten til alle uttrekkskall, og la JSON-skjemaet tillate null i hvert felt.
2. Send hver returnert verdi gjennom en billig sjekkmodell med spørsmålet om siden støtter den, før agenten bruker dataene videre.