30 til 60 prosent av tankerekken påvirker ikke svaret

«Nummer to: Teksten som genereres er ikke nødvendigvis tro mot det som skjer inne i modellen. Og nummer tre: Mye av den teksten er ikke engang nyttig. Du kan faktisk ta den ut» — Melanie Mitchell, Santa Fe Institute

Quanta Magazine samlet 31. juli forskerne som har målt hva store resonneringsmodeller faktisk gjør når de «tenker». Bildet som kommer fram er at tankerekker virker, men ikke nødvendigvis av grunnene bransjen har lagt til grunn.

Den mest konkrete målingen kommer fra Northeastern University og University of California, Berkeley. De gikk i 2025 gjennom åpne resonneringsmodeller og fant at mellom 30 og 60 prosent av tenkestegene hadde minimal årsakssammenheng med svaret modellen endte på. Fjerner du halvparten av dem, synker treffsikkerheten på benchmark-matteoppgavene knapt.

Andre funn peker samme vei. Subbarao Kambhampatis gruppe ved Arizona State University byttet i 2025 ut korrekte resonneringsspor med feil eller irrelevante spor, uten at modellen gjorde det dårligere på en formell resonneringsoppgave. En artikkel fra New York University i 2024 viste at meningsløse fylltegn, bokstavelig talt rekker med punktum, kunne fylle samme funksjon som en lesbar tankerekke. William Merrill, en av forfatterne, sier det rett ut: det finnes ingen garanti for at tankerekken må være meningsbærende i noen forstand.

Samtidig leverer modellene. En resonneringsmodell fra OpenAI løste et åpent matematisk forskningsproblem i mai 2026, og Google DeepMind og matematikeren Terence Tao brukte KI til å gjenoppdage eller forbedre løsningene på 67 problemer innen analyse, kombinatorikk, geometri og tallteori. Motsatt vei viste Mitchells egen gruppe ved Santa Fe Institute at modellene kan knuse nøye utformede resonnerings-benchmarks ved hjelp av overflatiske snarveier, altså noe som ligner mer på å spille systemet enn på generaliserbar resonnering.

Kambhampatis gruppe kalte posisjonsartikkelen sin på ICML 2026 «Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!». Han bestrider ikke at modellene virker, men hvordan styrken forklares.

«Det er en generell tankegang som sier: La oss hevde bestemte evner, fordi det kanskje blir sant likevel. Og min følelse er at det ikke er vitenskap. Det er investering» — Subbarao Kambhampati, Arizona State University

For deg som bygger med disse modellene har dette en praktisk side. Tankerekken du får ut er ikke en revisjonslogg. Bruker du den til å feilsøke hvorfor agenten tok et valg, eller som grunnlag for å vurdere om et svar er til å stole på, leser du en tekst som kan være frakoblet det som skjedde inne i modellen. Pavel Izmailov ved New York University, som også jobber for Anthropic og var med i det opprinnelige teamet bak selskapets resonneringsmodeller, sier han tviler på at forsterkningslæring i det hele tatt gir modellene insentiv til å produsere tro tankerekker.