KI vinner i matematikk på arbeidsminne, ikke på dypere innsikt

En matematiker som jobber uten penn og papir må holde antakelser, mellomresultater, unntak og forkastede tilnærminger i hodet samtidig, og der stopper det raskt. Det er utgangspunktet for essayet Davide Piffer publiserte 4. august, der han argumenterer for at det vi leser som maskinell intelligens i matematikk, i stor grad er fravær av en biologisk flaskehals.

Piffer støtter seg på arbeidsminneforskning på mennesker. Han viser til Alloway og Alloway (2010), som målte barn ved fem års alder og fant at tidlig arbeidsminne forutsa lese- og regneferdigheter seks år senere bedre enn IQ-målet i studien, og til meta-analysen fra Friso-van den Bos og kolleger (2013), som fant en gjennomgående sammenheng mellom arbeidsminne og matematikk i barneskolen. Blant barn med lik målt intelligens spriker matematikkferdighetene fortsatt med evnen til å holde og oppdatere informasjon.

«Papir gjør deg ikke mer intelligent. Det utvider det effektive arbeidsminnet ditt.» — Davide Piffer

Kontekstvinduet spiller samme rolle, mener han: en gigantisk ekstern notatblokk der hele oppgaveteksten, hundrevis av mellomregninger og forkastede grener kan ligge åpne samtidig. Piffer kaller det utvidet symbolsk arbeidsminne heller enn arbeidsminne, siden tidligere tokens ligger fast og ikke kan redigeres. Hypotesen gir en testbar prediksjon: krymper du modellens brukbare kontekst eller hindrer den i å skrive mellomsteg, skal ytelsen falle uforholdsmessig mye på lange matematikkoppgaver.

Grensen går der oppgaven ikke er bokføring. I uformelle domener, der begreper som «rettferdig» eller «ansvarlig» skifter betydning og de avgjørende fakta aldri ble observert, hjelper ikke en større notatblokk. For deg som bygger agenter er poenget at kontekst og scratchpad er en ytelsesknapp på formelle, verifiserbare oppgaver, ikke bare en kostnadspost.