Discord innrømmer at KI-moderering feilbannlyste over 8000 brukere for harmløse bilder

Tallene er urovekkende konkrete. Over 8000 kontoer ble bannlyst gjennom to måneder fra mai, og ytterligere rundt 200 ble utestengt i løpet av én helg før feilen ble fanget opp. Det systemet reagerte på var ufarlig: regneark, sjakkbrett, spilltexturer, gjennomsiktige bakgrunner i hvitt og grått, og bilder med rutemønstre. Brukere spekulerer i at systemet ble overfølsomt for rutemønstre fordi slike tidligere er brukt til å skjule overgrepsmateriale for automatisk deteksjon.

Kjernen i problemet var ikke deteksjonen alene, men at menneskelige moderatorer skulle gå gjennom flagget innhold før noen ble utestengt. En feil gjorde at systemet bannlyste kontoene umiddelbart og hoppet over dette leddet. Discord bekrefter at treffsystemet kan gi falske positive, og sier: «Vi jobber med bedre sikringer så dette ikke kan skje igjen.» Alle rammede kontoer gjenopprettes nå.

For deg som bygger med automatisk moderering er lærdommen tydelig: en modell som handler uten menneske i loopen, gjør små feilrater til utestenging i tusentall. Permanente utestengelser basert kun på automatikk kan være svært ødeleggende for folk som er avhengige av tjenesten til jobb og fellesskap.