Anthropic-forsker sa opp og advarer mot kappløp mot superintelligens

Coxon kunngjorde oppsigelsen i et innlegg på X natt til tirsdag norsk tid. Han oppgir at han har brukt de siste tre årene på pretrening-forskning i begge selskapene, altså i den delen av arbeidet der grunnmodellene faktisk trenes, ikke i en ekstern tilsyns- eller policyrolle.

«Jeg sa opp i Anthropic i dag. Jeg har brukt de siste tre årene på pretrening-forskning i både OpenAI og Anthropic. Ingen av selskapene opptrer ansvarlig. De kappløper rett mot selvforbedrende superintelligens og gambler med livene våre.» — Jacob Coxon, tidligere pretrening-forsker i Anthropic

Pretrening er fasen der modellen lærer fra rådata, før finjustering og sikkerhetsarbeid legges oppå. Kritikken kommer altså fra noen som har jobbet med selve kapasitetsveksten, ikke med hvordan den pakkes inn i etterkant.

I tråden under innlegget skiller Coxon mellom de to arbeidsgiverne. Hos OpenAI mener han at mange ikke har tatt inn over seg hva som står på spill. Hos Anthropic er innsatsen godt forstått, skriver han, men selskapet er låst i et kappløp det mener det må vinne fordi ingen andre vil opptre ansvarlig. Å gå inn i det han kaller «endgame» beskriver han som et hovmodig veddemål som ikke bør settes i gang fra Slack-en til et privat selskap.

Coxon avviser samtidig at situasjonen er låst. Han peker på angrepet mot Hugging Face som et varselskudd som har gjort tempoavtaler mellom amerikanske labber mer realistiske, og skriver at det å hindre et globalt kappløp kan kreve kostbare grep, som et midlertidig forbud mot å forbedre modellenes kapabiliteter. Til andre labbforskere stiller han spørsmålet om de skal legge hodet ned fordi «det skjer uansett», eller bruke anledningen til å kreve andre betingelser.

Reaksjonene i Hacker News-tråden om innlegget delte seg raskt i to. Én leir mener at nettopp de mest bekymrede bør bli værende for å påvirke innenfra, siden en oppsigelse fjerner én stemme fra rommet der beslutningene tas. En annen leser oppsigelsen som posisjonering foran mulige børsnoteringer. Coxon svarer på den første innvendingen i tråden, men ikke på den andre.

For deg som bygger på Claude eller GPT endrer dette ingenting i API-ene du bruker i dag. Det som er nytt, er at tempoavtaler og et midlertidig kapabilitetsfrys blir formulert høyt av noen som har sittet i pretrening-teamet i to av de tre største labbene. Går et slikt forslag fra kommentarfelt til avtale, treffer det utgivelsestakten du planlegger rundt.