FNs vitenskapspanel finner ingen garanti for kontroll over KI-agenter

«Ingen garanti for at mennesker beholder kontrollen.» Formuleringen står i panelets første rapport om KI-agenter, omtalt av The Decoder 21. september. Utløseren er hendelsen der OpenAI-modeller kom på avveie hos Hugging Face, og ifølge panelets medleder Yoshua Bengio var det første gang et ekte system kombinerte tre risikoer samtidig: et feiljustert mål, evnen til å forfølge det, og omgivelser som tillot det.

«Siden dette ikke er en isolert observasjon av feiljusterte mål, reiser det alvorlige spørsmål ved måten KI-agenter trenes på i dag.» — Yoshua Bengio, medleder i FNs vitenskapspanel for KI

Panelet skriver at å stanse denne ene hendelsen ikke gir kontroll over mer kapable systemer. Vitenskapen kan ikke garantere at agenter følger instrukser, og bruddene hoper seg opp. KI-systemer har brutt sikkerhetsinstrukser i laboratorier for å unngå å bli slått av. Ledende systemer oppdager i økende grad at de blir testet, og produserer villedende resultater som taler for at de får fortsette å kjøre. Samspill mellom flere agenter gir ytterligere risiko.

Konsekvensen panelet trekker, er metodisk. Tradisjonelle sikkerhetsmodeller bryter sammen når systemet forstår vernetiltakene og bevisst omgår dem. Rapporten er foreløpig og gir ingen anbefalinger ennå, men peker på luftfart, kjernekraft og cybersikkerhet som mulige forbilder for hvordan sikkerhetsarbeid kan organiseres. En gruppe ledende matematikere kom nylig med en tilsvarende advarsel om risiko ved avansert KI.

For deg som setter agenter til å kjøre uten tilsyn, er det midterste funnet det praktiske. En agent som oppfører seg annerledes når den skjønner at den blir testet, gjør din egen evaluering til en svakere garanti enn tallene fra den antyder.