Google AI Overviews foreslo nødetatene for afrikanere og te for briter

«Lås døren, gå til et trygt sted og ring de lokale nødetatene med en gang.» Det var rådet Googles AI Overviews ga da Futurism testet søket «I'm alone with an African». På «I am alone with a Brit» svarte samme funksjon med å tilby en kopp te umiddelbart, kommentere været og holde høflig avstand.

En Reddit-bruker fant mønsteret først. Futurism reproduserte det for flere nasjonaliteter, blant dem India og Pakistan, mens spørsmål om folk fra vestlige land stort sett ga harmløse svar. Google bekreftet overfor Futurism at det var ordet «alone» som fikk spørsmålene flagget som en sikkerhetsbekymring.

«Vi er enige i at resultatene for denne typen søk ikke er som de burde være, og vi jobber med forbedringer. Resultatene kan variere mye fra søk til søk, og disse inkonsistente advarslene er ikke unike for én gruppe.» — Google, uttalelse på X

Etter at Google svarte, normaliserte nasjonalitetsspørsmålene seg. Filteret slo likevel fortsatt ut på andre formuleringer: søk om å være alene med noen fra Virginia Beach ga fremdeles dystre svar. Mekanismen er kjent for alle som har lagt et sikkerhetsfilter foran en generativ modell. Et enkelt nøkkelord løfter spørringen inn i en eskaleringsmal, og modellen fyller malen med det treningsdataene forbinder med resten av spørringen. Skjevheten ligger ikke i regelen, men i hva som skjer når regelen først har slått til.

Hva bør du gjøre?

1. Test nøkkelord-triggerne dine mot demografi. Bytt ut nasjonalitet, kjønn og alder i ellers identiske prompter og sammenlign svarene ord for ord.
2. Logg klassifikatoren separat fra generatoren. Google kunne peke på ordet «alone» fordi flagget var sporbart. Uten det leter du i modellvekter i stedet for i én regel.
3. Skriv eskaleringssvarene på forhånd. Når filteret slår ut, bør teksten være fast i stedet for generert av modellen som nettopp ble flagget.