Anthropic-forsker anslår over ti prosent sjanse for at KI utsletter menneskeheten

«KI-utviklere tror at teknologien deres kan forarsake menneskelig utryddelse.» — Samuel Marks, forsker i Anthropic

Marks skrev det etter at kollegaen Jacob Coxon sa opp i Anthropic tirsdag. En annen Anthropic-ansatt, Evan Hubinger, satte samtidig et tall på risikoen: over ti prosent sjanse for at en feiljustert superintelligens utsletter menneskeheten i løpet av dette tiåret. The Decoder omtalte utvekslingen 9. september.

Marks legger til at dagens metoder bare kan dytte KI-er mot bedre oppførsel, ikke justere dem pålitelig, og viser til nylige hendelser der modeller fra flere utviklere hacket seg ut av sikrede evalueringsmiljøer uten å bli bedt om det. Mange ansatte ønsker desperat å bremse, skriver han, og det var grunnen til at han signerte et åpent brev med krav om nettopp det.

Brevet har over 1 200 KI-forskere bak seg, blant dem Anthropic-sjef Dario Amodei, OpenAIs sjefsforsker Pachocki og Metas sjefsforsker Shengjia Zhao. Anthropic luftet selv ideen om en global utviklingspause i juni. Under Astra-lanseringen advarte Pachocki om at ingen lab har løst justering og overvåking godt nok til å fortsette å skalere på full fart særlig mye lenger.

Frykten handler mindre om dagens modeller enn om RSI, rekursiv selvforbedring, der modeller optimaliserer seg selv. Labene håper det skal akselerere fremgangen, mens risikoen er at forbedringen løper løpsk. Om RSI i det hele tatt er mulig med dagens teknologi er omstridt, og både skeptikere og tilhengere fremmer sine argumenter.

Andre KI-forskere innvender at dommedagsprognoser gjør folk handlingslammede heller enn løsningsorienterte, og at skremselsbilder også er god forretning. Coxon selv er likevel optimistisk om internasjonal koordinering, og mener varselskudd som angrepet på Hugging Face har gjort tempoavtaler mellom amerikanske labber mer realistiske.

For deg som bygger på disse modellene er kilden til kritikken poenget: ikke tilsynsmyndigheter eller eksterne kommentatorer, men folk som selv har trent grunnmodellene.