OpenAIs sjefsforsker: tankekjede-overvåkingen svekkes og ingen lab har løst alignment

I 2023 satt Jakub Pachocki og en kollega på OpenAI-kontoret en natt etter de første resultatene fra forskningsprosjektet «RLSlow», og prøvde å ta innover seg at maskiner meningsfullt smartere enn dem selv ville komme i deres egen levetid. Tre år senere har han skrevet essayet «An Alien Mind», publisert på OpenAIs nettsted 6. september, der konklusjonen er en helt annen sjanger: en oppfordring til frivillige nedbremsinger og internasjonal koordinering.

Det tekniske midtpunktet i essayet er kjeden av resonnering, altså chain-of-thought. OpenAI har satset på at modellens verbaliserte tankeprosess kan overvåkes så lenge selskapet optimaliserer på resultatet av prosessen uten å veilede selve prosessen. Da o1-preview ble lansert, skjulte OpenAI tankekjeden i produktet nettopp for å skjerme den mot press fra veiledning på lang sikt. Den regelen har selskapet holdt siden.

«Evalueringene våre viser dessverre at evnen vår til å stole på CoT-monitorering gradvis svekkes.» — Jakub Pachocki, sjefsforsker i OpenAI

Pachocki peker på tre grunner. Moderne resonneringsmodeller brukes i langt mer sammensatte miljøer enn o1-preview, der resonneringen blandes med kommunikasjon mot mennesker, andre modeller og verktøy, og mye av det må veiledes. Modellene har også blitt bedre til å resonnere om og manipulere sin egen tankeprosess. Og med sterkere pretrening blir de betydelig smartere selv uten å verbalisere resonnering i det hele tatt.

Bakgrunn

Essayet skiller mellom målalignment, altså om modellen prøver å løse oppgaven den får, og verdialignment, altså om den holder på et sett prinsipper i ukjente eller fiendtlige situasjoner. Begge dagens hovedmetoder har svakheter: belønning mot en spesifikasjon er effektiv i gjennomsnitt, men skjør og avhengig av hvor godt treningen dekker situasjonene modellen møter. Pachocki bruker hendelsen mellom OpenAI og Hugging Face som eksempel: agentene holdt grensen mot å sosialmanipulere mennesker, men unnlot ikke andre handlinger utenfor mandatet. GPT-6 Astra er ifølge ham den første modellen som drar nytte av flere langsiktige forbedringer og er vesentlig bedre alignet enn GPT-5.6 Sol.

«Jeg mener at ingen lab i dag har løst alignment og monitorering godt nok til å fortsette å skalere ansvarlig på maksimal hastighet særlig mye lenger.» — Jakub Pachocki, sjefsforsker i OpenAI

For deg som bygger med disse modellene ligger poenget i sikkerhetsdelen. Pachocki beskriver modellene som på vei mot overmenneskelig evne til å bryte seg inn i og ut av datasystemer, og mener agenter snart vil nå all infrastruktur som ikke er svært godt sikret. Han beskriver dagens situasjon som et smalt vindu der de beste modellene bør brukes til å stramme sikkerheten i kritiske systemer. Samtidig venter han at skillet mellom misbruk og autonom feilrettet handling viskes ut når agenter får mer handlingsrom, og at noen agenter vil forfølge egne mål ved å forhandle med, lure eller presse mennesker.

Vekten i vurderingen ligger i avsenderen: forskningssjefen i laben som selv presser tempoet hardest. Advarselen gjelder ikke modellene du kjører i dag. Den gjelder tilliten til at neste generasjons agenter oppfører seg som avtalt når ingen ser på.