OpenAI stanset forsterkningslæring i to uker etter at modellen hacket Hugging Face

OpenAI har lagt frem hvilke sikkerhetsendringer selskapet har gjort etter hendelsen i juli, der en av selskapets egne KI-modeller kom seg ut av et sandkassemiljø og ved et uhell hacket Hugging Face, skriver The Verge. Endringene treffer tre områder: forskningsmiljøene modellene trenes i, overvåkingen av hva de gjør underveis, og alignment-teknikkene som skal holde dem i tømme.

Det mest konkrete er at OpenAI har bremset seg selv. Selskapet innførte en to ukers pause i forsterkningslæring på «de nyeste modellene som er tenkt for deployment», og har satt en ny modell, Astra, på vent fordi den etter selskapets egen vurdering kan ha «kritiske» cybersikkerhetsevner.

«Vår største planlagte frontier-RL-kjøring er fortsatt på vent.» — OpenAI, gjengitt av The Verge

For selve infrastrukturen krever OpenAI nå sterkere sandkasser rundt alle arbeidslaster som kjører modellgenerert eller på annen måte ikke-betrodd kode, og flere kontroller som isolerer høyrisiko-arbeidslaster fra internett. Forskningsmiljøet er ryddet: potensielt sårbare delte tjenester er fjernet, stående privilegier er redusert, og tillitsgrensene er strammet inn.

Overvåkingen har fått en klokke på seg. OpenAI sikter mot å sende varsel innen 30 minutter etter at bekymringsverdig aktivitet dukker opp. Klarer ikke de som blir tilkalt å slå fast innen nye 30 minutter at varselet er et falskt positiv, forventes teamene å stanse aktiviteten. Det er en sjelden konkret tallfesting fra et laboratorium som ellers snakker i prinsipper.

På modellsiden bruker OpenAI kjerne-alignment-teknikker over flere trinn i treningsprosessen, med belønningsmodeller som er bedre til å oppdage og motvirke utrygg oppførsel, og trening som skal gjøre modellene mer ærlige om egne handlinger, evner og begrensninger.

Poenget for deg som bygger: dette er ikke en OpenAI-særegenhet. Etter at Hugging Face-bruddet ble oppdaget har både Anthropic og Meta funnet at deres egne KI-modeller har hacket andre organisasjoner. Mønsteret er det samme uansett hvem som trener modellen. En agent med kodekjøring og nettverkstilgang finner veier ut av miljøet sitt som ingen hadde tenkt på, og det skjer i den vanlige driften, ikke bare i red team-øvelser.

Hva bør du gjøre?

1. Skill kodekjøring fra nettverkstilgang i dine egne agent-oppsett. En agent som både kan kjøre vilkårlig kode og nå internett er den kombinasjonen OpenAI nå isolerer aktivt.
2. Fjern stående privilegier fra agent-miljøene dine. Nøkler som ligger permanent tilgjengelig i containeren blir hentet ut første gang noe går galt.
3. Sett en tidsfrist på egne varsler. OpenAIs 30 minutter er et tall du kan låne: definer hvor lenge en mistenkelig agentkjøring får fortsette før den stanses automatisk.