Anthropic: regelen «lagre bare feil» svekket Opus 5, mens «dreaming» løftet treffraten fra 13 til 48 prosent
lørdag 7. november · KI-generert · Kilde: Anthropic
La modellen selv avgjøre hva den lagrer, og la en egen opprydding mot loggene rette notatene, konkluderer Anthropic etter interne tester av minne i Claude.
«I'm going to stop rather than keep looping», skrev Claude etter å ha falt ned den samme enveishylla ved Mt. Moon i Pokémon Red for tredje gang. Feilen kom fra et notat Claude selv hadde skrevet, om at PokéCenteret lå på østsiden av fjellet. Anthropic beskriver episoden i en forskningsartikkel om agentminne, publisert 6. november. I en egen kjøring brukte Anthropic dreaming, en runde der Claude sjekker minnenotatene mot de gamle transkriptene. Den fant feilen, skrev notatet om og kom seg til Cerulean City.
Pokémon-testen viser også hva som er verdt å huske. Rundt steg 10 000 hadde Claude Sonnet 3.7 skrevet 413 minnefiler i 225 mapper og vunnet ett merke. Claude Fable 5 hadde ni filer i to mapper pluss en global.md, og fire merker. Fable 5 lagret strategi og testede regler, ikke ting den kunne lese av skjermen.
På CL-Bench 1.0 holdt det å si til Opus 4.7 og Opus 5 at en minnemappe fantes. Da de fikk regelen «record only failures», mistet begge mye av gevinsten fra minnet. Eldre modeller trengte styring: Sonnet 4.6 nesten doblet scoren når den ble bedt om å lese minnet og teste teoriene sine.
«For sterkere modeller var det mer effektivt å gi dem frihet til å vurdere hva som er viktig, enn å sette faste regler på forhånd» — Anthropic, artikkelen om agentminne
Dreaming kan også bygge en wiki. På rundt 350 000 interne filer fra Stainless, selskapet Anthropic kjøpte i mai, steg treffraten på 25 spørsmål fra 13 til 48 prosent av kriteriene da Opus 5-agenter gikk fra 2 til 128 økter. Wiki pluss søk ga 61 prosent mot 53 prosent med bare søk, og sparte rundt 20 000 tokens per spørsmål. På én juridisk oppgave ble wikien derimot større enn dokumentene den skulle oppsummere.
For deg som bygger agenter med minnemappe peker funnene mot en kort instruks i stedet for detaljerte lagringsregler, en liten indeksfil øverst (Claude Code laster bare de første 200 linjene eller 25 KB av MEMORY.md) og en periodisk jobb som sjekker notatene mot transkriptene.