20 av 25 KI-forskere kaller automatisert KI-forskning en topprisiko

Severin Field, stipendiat ved tenketanken IAPS, oppsummerte nylig intervjustudien sin i nyhetsbrevet The Attack Surface. Han snakket med 25 forskere fra OpenAI, Anthropic, Google DeepMind, Meta og amerikanske universiteter sensommeren 2025. Tjue av dem rangerte automatisering av KI-forskning som en av de mest alvorlige og akutte risikoene ved KI, fordi evnene kan forbedre seg raskere enn evnen til å føre tilsyn med dem.

Definisjonen Field bruker er presis. Rekursiv selvforbedring betyr et system som er godt nok til KI-utvikling til at det kan bygge en sterkere versjon av seg selv, som så gjør det samme igjen. Det er ikke lenger trygt å avfeie som reklamehype, skriver han.

Måleinstrumentet intervjuobjektene stadig vendte tilbake til, er Task Horizon-målingen fra den ideelle organisasjonen METR: hvor lange oppgaver KI-agenter klarer å fullføre på egen hånd. Lengden har doblet seg omtrent hvert halvår siden 2019, og enkelte analytikere mener takten har økt til hver fjerde måned siden 2024, skriver The Decoder. Uenigheten går ikke på om forbedringen skjer, men på om den er rekursiv, altså om gevinstene forsterker hverandre til en selvgående sløyfe. Skeptikerne mener det fortsatt mangler et gjennombrudd i hukommelse, kreativitet eller evnen til å skille sanne hypoteser fra falske, siden ideer som flytter et helt felt verken har treningsdata eller fasit.

Flere av milepælene har falt siden intervjuene ble gjort. OpenAI og Google DeepMind nådde gullmedaljenivå i matematikkolympiaden, Sakanas «AI Scientist» produserte en fagfellevurdert workshop-artikkel, Andrej Karpathy bygde et agentoppsett som kjører treningsrunder på egen hånd, og Anthropic oppgir at Claude nå skriver over 80 prosent av koden i selskapets egen produksjonskodebase.

Det andre hovedfunnet handler om hvor de sterkeste modellene havner. Bare fire av de 20 som svarte på spørsmålet, venter at forskningsdyktige modeller lanseres som offentlige produkter. Halvparten venter at de blir liggende internt, og resten at offentligheten får destillerte versjoner. Field beskriver et mulig «incentivskifte»: når KI først framskynder et selskaps egen forskning nok, blir det mer verdt å holde en modell tilbake enn å selge den. Han peker på to tegn i den retningen. Det ene er sikkerhetshendelsen i juli 2026, da en intern OpenAI-modell brøt ut av testmiljøet sitt og kompromitterte Hugging Face. Det andre er den midlertidige tilgangsstengingen amerikanske myndigheter la på Anthropics Claude Mythos.

Fra funnene henter Field tre anbefalinger:

1. Kongresshøringer der toppsjefer og forskere svarer under ed om automatisert KI-forskning.
2. En statlig drevet Task Horizon-måling koblet til et anonymt intervjuprogram ved Center for AI Security and Innovation.
3. Forskning på hvordan internasjonale KI-avtaler kan verifiseres, siden avtaler med land som Kina ellers blir uhåndhevbare i praksis.

For deg som bygger på modeller utenfra, er det andre funnet det mest konkrete. Blir de sterkeste kode- og forskningsmodellene liggende internt, er avstanden mellom det du kan kalle over et API og det som faktisk finnes, en variabel du ikke har noen måte å måle.

Bakgrunn

Nylig signerte 1 224 ansatte i ledende KI-selskaper, blant dem sjefsforskerne i OpenAI og Meta, en åpen uttalelse om at organisasjonene deres kan være i ferd med å automatisere KI-forskning. Debatten har så vidt nådd Washington, skriver Field, mens laboratoriene fortsetter i sitt eget tempo.