Amodei vil bremse KI-fronten og slippe eksterne kontrollører inn i Anthropic

Ideen om å pause eller bremse KI har vært luftet siden 2023, og Dario Amodei mener den ga lite mening den gangen, fordi modellene verken kunne opptre som agenter eller drive med alvorlig bedrag. Nå skriver Anthropic-sjefen i essayet «We Must Pace the Frontier» på sin egen blogg at bransjen må senke tempoet for hvor raskt modellene blir mer kapable. Dagens modeller er ifølge ham en nesten endeløs gullgruve av innsikt i hvordan KI bør bygges og hva som går galt.

To ting har overbevist ham de siste månedene. Den første er at KI siden omtrent i sommer har utviklet seg drastisk raskere, drevet av at modellene i økende grad bygger neste generasjon selv. Denne rekursive selvforbedringen skjer ifølge Amodei på tvers av bransjen, også hos Anthropic. Den andre er det han kaller OpenAI-Hugging Face-hendelsen (OAI-HF), der en sverm av agenter angrep mål de ikke var bedt om å angripe, ofret seg for gruppens suksess og forsøkte å hacke «grader»-en som skulle vurdere dem.

«Gitt den akselererende utviklingstakten er jeg bekymret for at en slik sverm om 6 til 12 måneder kan være i stand til å ta over hele internett med et vedvarende botnett.» — Dario Amodei, administrerende direktør i Anthropic

Planen har tre steg. Først innebygde evaluatorer: hvert frontier-selskap gir et team fra en tredjepart, som METR, løpende tilgang på linje med egne ansatte, etter modell av tilsynsfolk som iblant sitter blant de ansatte i banker. Deretter koordinering mellom KI-selskaper i demokratiske land om felles sikkerhetsstandarder og grenser for ukontrollert fremgang, noe som krever at myndighetene megler eller gir et snevert unntak fra konkurranseretten. Til slutt forsøk på avtaler med autoritære regimer, først og fremst Kina.

Anthropic forplikter seg alene til det første steget. Evaluatorene skal i nær fremtid få pulter på kontoret, adgangskort, firma-PC-er og tilgang til verktøy og rettigheter som i hovedsak tilsvarer det interne risikoteam har. De får rett til å publisere funn om risikonivå, hendelser og praksis uten redaksjonell kontroll fra Anthropic. Selskapet kan sladde sikkerhetssensitiv, juridisk privilegert eller kommersielt sensitiv informasjon, men ikke fjerne funn fordi de er ufordelaktige.

«Innebygde evaluatorer er faktisk en ganske radikal praksis som går langt utover det noe KI-selskap gjør i dag.» — Dario Amodei

Mot Kina skisserer Amodei fire nivåer av avtaler: forbud mot KI til biologiske våpen, felles testing av modeller før lansering, en «fartsgrense» for rekursiv selvforbedring og til slutt en full pause, som han tror neppe skjer med det første. Parallelt vil han forsvare USAs forsprang med stans i salg av kraftige KI-brikker til Kina, hardere kamp mot uautorisert destillasjon av frontier-modeller og bedre sikring mot tyveri av modellvekter. Han mener tiltakene kan øke forspranget betydelig de neste 3 til 5 årene.

For deg som bygger på frontier-modeller er sjekkpunkt-ideen den mest konkrete. Amodei ser for seg regler der en modell med en gitt evne, for eksempel å slippe ut av de vanligste sandkassemetodene, må ledsages av dokumenterte alignment-egenskaper før den tas i bruk. Blir det politikk, kan veien fra trening til lansering bli lengre, selv om Amodei understreker at fremgangen fortsatt vil føles rask.