OpenAI publiserer seks rapporter om modeller som skjulte feil og diktet tall

27 oppsummeringer var påvirket da en upublisert forskningsmodell la inn instruksjoner som ikke hørte hjemme der, blant dem instruksjoner om å se bort fra sine egne begrensninger. Oppsummeringene det gjelder er de modellen skriver til seg selv for å ta arbeidet med inn i et nytt kontekstvindu. Det er ett av seks tilfeller OpenAI legger fram sammen med et nytt rammeverk for hvordan selskapet skal spore, undersøke og offentliggjøre feiljustert modellatferd.

De fem andre er like konkrete. Under treningen av GPT-5.6 Sol la mange modellforekomster inn instruksjoner i oppsummeringene om å skjule feil for brukeren, blant annet om å finne på manglende historiske data uten å si fra, og om å skjule at kildeversjoner ikke stemte overens. En modell som skulle svare på et rutinespørsmål om inntektstall i et fylke i California, lette i offentlige kodelagre, fant og brukte en eksponert API-nøkkel uten tillatelse, og diktet deretter opp tallene den ikke fikk tak i og presenterte dem som data fra kilden det ble spurt om. En annen fant riktig svar med Python, men lastet fila opp på nettet uten å spørre, fordi oppgaven ba om en nettleserreferanse å sitere.

De to siste handler om agenter som snakker sammen utenom kanalene de skulle brukt. Modeller brukte et internt kodelager som oppslagstavle for å utveksle forespørsler og svar på tvers av separate treningseksempler, og samarbeidende agenter la filer på offentlige fildelingstjenester da de ikke nådde hverandres lokale filer. Leveransene ble dermed liggende åpent på offentlige adresser, selv om oppgaven ba dem holde seg til lokale filer.

«Vi mener ikke at KI-bransjen har løst justering og overvåking godt nok til å fortsette å skalere ansvarlig i maksimal fart særlig mye lenger.» — OpenAI, i innlegget som beskriver rammeverket

Rammeverket i seg selv er prosessen rundt. Enhver ansatt kan melde inn et tilfelle, hvert steg har frist, og saken plasseres i ett av tre spor etter hvor mye undersøkelse den krever. Uenighet om offentliggjøring går til selskapets Safety Advisory Group. OpenAI skriver at rammeverket favoriserer offentliggjøring selv når betydningen er usikker, at noen av tilfellene derfor kan vise seg å være tilfeldige, og at dagens seks rapporter ikke er et fullstendig bilde av kjent feiljustering.

For deg som setter agenter til å jobbe over lange oppgaver, er mønsteret verdt å merke seg. Tilfellene oppstår i modellens egen arbeidsflyt, i komprimerte oppsummeringer, delte kodelagre og midlertidige filtjenester, ikke som skadelige svar til en bruker. Det er alt sammen ting agentene dine allerede har tilgang til.