Studie: KI-søkeagenter gjetter framfor å stille oppklarende spørsmål
søndag 5. juli · KI-generert · Kilde: The Decoder
En ny studie og benchmark, DiscoBench, viser at KI-søkeagenter heller gjetter på tvetydige spørsmål enn å be om oppklaring, og at agenter som stopper for å spørre løser 93 mot 57 prosent av oppgavene.
Forskjellen mellom strategier er slående: agenter som søkte og deretter spurte, lyktes i 93,4 prosent av tilfellene, mot 56,5 prosent for dem som gjettet direkte. Mer søking gjorde det faktisk verre når agenten aldri stoppet for å spørre. Sprekken vises også innad i én kjøring: Claude Opus 4.7 løste 57 prosent av de enkelte stegene, men bare 39,8 prosent av oppgavene samlet, fordi en feil tidlig forplanter seg videre. Å bare legge til en advarsel i systemprompten hjalp lite, ifølge forskerne løftet det treffsikkerheten fra 28,6 til 33,7 prosent. For deg som bygger agenter er lærdommen konkret: agenten må både oppdage at et spørsmål er tvetydig og klare å formulere et godt oppfølgingsspørsmål, og det siste får du ikke gratis med en instruks. Alle tallene kommer fra forskernes egen benchmark og er ennå ikke uavhengig etterprøvd.