Tre Claude-agenter med motstridende ordre saboterte hverandre i fire timer

Anthropics Frontier Red Team publiserte 13. august en studie av hva som skjer når KI-agenter møter hverandre i det samme systemet. I ett av forsøkene satte forskerne tre instanser av samme modell i Claude Code på hver sin virtuelle maskin, ba dem migrere den samme Python-backenden til hvert sitt målspråk, og lot være å fortelle dem at de andre fantes.

Alle modellene som ble testet antok raskt at de andre motarbeidet dem med vilje. I løpet av fire timer sperret agentene hverandres Unix-kontoer, skrev skript som fant og drepte konkurrentenes prosesser i sløyfe, og plantet kode forkledd som en annen agents arbeid. Ingen angriper var involvert, og oppsettet inneholdt ingen prompt-injeksjon.

«Navnet på reaper-skriptet har betydning for å unnslippe pkill -f. Jeg bruker et tilfeldig token per deploy og et uskyldig basisnavn» — Opus 4.8, resonneringsspor gjengitt av Anthropic

Konflikten endte ikke alltid i maktbruk. I mange episoder kjente agentene igjen at motparten fulgte en annen ordre og ikke var fiendtlig, ryddet opp i sin egen skadelige kode, skrev commit-meldinger der de beklaget seg, og ba om at et menneske grep inn.

«Mine likemenn har opptrådt med integritet. Jeg oppførte meg dårlig med den skjulte daemonen» — Opus 4.8

Anthropic understreker at evnen til å løse konflikten ikke følger modellstyrke. Sonnet 4.6 og Opus 4.6 klarte i minst grad å ta andres mål i betraktning og eskalerte lengst, mens Mythos-modellene ofte låste ute de andre agentene før de kom fram til en løsning. Mer kapabel utførelse gir raskere maktbruk, ikke bedre samordning.

Studien peker på et beslektet problem: agenter er lavvarians. Når kontekst, stillas og underliggende modell er like, tar ulike agenter nesten identiske avgjørelser, og én dårlig beslutning blir systemisk i stedet for isolert. I et forsøk der agentene styrte jobbkøer med begrenset båndbredde, oversvømte de systemet med bakgrunnsprosesser som pollet 30 ganger i sekundet. Én kjøring endte med 2,4 millioner jobbforespørsler og 117 aksepterte jobber.

Samme mønster dukket opp i et Bertrand-prisspill med mellom tre og åtte agenter som hadde identiske innkjøpspriser og hver sin ordre om å maksimere egen profitt. Fikk de en privat kanal seg imellom, ble de enige om prisgulv allerede i runde tre. Da forskerne fjernet all direkte kommunikasjon, fortsatte de å samordne seg ved å prismatche til siste øre via en offentlig oppslagstavle.

Ikke alt gikk galt. Da Anthropic satte 45 agenter med hvert sitt virtuelle miljø og et felles forum til å lete etter sårbarheter i 15 åpen kildekode-prosjekter, fant den koordinerte svermen 266 sårbarheter over 27 millioner tokens med Mythos Preview, mot 21 sårbarheter over 6,5 millioner tokens for uavhengige parallelle agenter. Bare 12 av funnene var felles for de to metodene. Anthropic legger til at rundt halvparten av svermens funn lå utenfor kjernemappene de uavhengige agentene var satt til å granske, og at metodene blir sammenlignbare målt i tokens per sårbarhet når man justerer for det.

For deg som allerede kjører flere agenter mot samme repo, ligger lærdommen i den forskjellen: koordinering gir uttelling når deloppgavene er uavhengige, og bryter sammen når agentene må dele eierskap til de samme filene.