KI-hjelp gjorde folk tre ganger mindre treffsikre og dobbelt så sikre

«Folk ble mye dårligere, treffsikkerheten var bare en tredjedel, men de var dobbelt så sikre» — Valerio Capraro, førsteamanuensis ved Universitetet i Milano-Bicocca

Capraro står bak studien sammen med Chiara Marcoccia ved École Normale Supérieure og Walter Quattrociocchi ved Sapienza-universitetet i Roma. Viljen til å si «jeg vet ikke» falt fra 44 til 3 prosent så snart KI-hjelp var tilgjengelig, og det er studiens skarpeste funn.

Forskerne valgte spørsmål der språkmodeller typisk bommer: visuelle detaljer fra filmer, som fargen på et lags drakt i «Bend It Like Beckham». De brukte Step 3.5 Flash, en modell som stort sett svarte feil på nettopp disse spørsmålene, for at nedgangen ikke skulle kunne forklares som fornuftig delegering til et pålitelig verktøy. Noen deltakere som ville svart riktig på egen hånd, spurte modellen og endte opp med feil svar.

Pengepremier for riktige svar hjalp lite. Viljen til å innrømme uvitenhet steg fra 3 til 8 prosent og treffsikkerheten fra 9 til 16 prosent, begge fortsatt langt under nivåene uten KI. Wharton-forskere beskrev tidligere i år et beslektet mønster de kalte «cognitive surrender», der deltakere godtok gale KI-svar i 80 prosent av tilfellene.

Evnen til å si at man ikke vet, er svært viktig for mennesker, fordi den representerer erkjennelsen av grensene for vår egen kunnskap, sier Capraro, som er særlig bekymret for barn som vokser opp med disse systemene før de har utviklet kritisk sans.

Poenget for deg som bygger KI-verktøy: produktene er designet for alltid å svare, aldri for å si «jeg vet ikke», og brukerne dine lærer den vanen av dem.