Opus 5 oppgir mai 2026 som kunnskapsgrense, men vet ikke mer enn januar-modellene

Den publiserte kunnskapsgrensen og den målbare er to forskjellige ting. Shrivu Shankar bygget et datasett med dagligfakta fra Wikipedia og ga hver modell en åtteveis flervalgsquiz om hva som skjedde en gitt dag. Ved å følge hvor feilraten skyter i været over tid, kan han anslå når modellen mister signal fra treningsdataene sine.

Metoden er en av tre han beskriver for å lese ut treningsdetaljer over vanlige APIer:

1. Scoring på nisjefakta anslår hvor mange parametere en modell har.
2. Måling av hvordan modellen deler opp tokens avslører hvilken datasettmiks tokenizeren ble trent på.
3. Dato- og identitetsspørsmål anslår når treningen fant sted.

Mønsteret følger treningskjøringer, ikke produktnavn. Anthropic-modellene fra Opus 4.7 og framover deler en effektiv kunnskapsgrense rundt slutten av desember 2025, noe Shankar leser som at de kommer fra samme forhåndstrening. OpenAIs GPT-5.6-familie har en egen grense rundt slutten av februar 2026. Opus 5 bryter mønsteret: den oppgir mai 2026, men treffer ikke bedre enn januar-modellene, heller ikke når spørsmålene gjelder hvilke versjoner av kodepakker som finnes.

Selvrapportert identitet peker mot noe annet. Shankar finner at Anthropics Sonnet 5 jevnlig identifiserer seg som GPT-4 når den presses uten annen forankring, mens OpenAI-modellene aldri utgir seg for å være en annen leverandørs modell. I et oppfølgingseksperiment, der modellene ble bedt om å besvare identitetsspørsmål slik en gitt annen modell ville gjort, reproduserte Claude-modellene OpenAI-modellenes målte særtrekk i 68 prosent av tilfellene. OpenAI-modellene klarte 8 prosent på Claude.

For deg som bygger er poenget praktisk. Oppgitt kunnskapsgrense er en påstand fra leverandøren, ikke en målt egenskap, og avstanden mellom dem er størst akkurat der det gjør vondt: kjennskap til ferske pakkeversjoner. Shankar understreker selv at alt i analysen er anslag, siden det finnes lite offentlig fasit å måle mot.