Jeremy Osborn i ACM: KI flytter byrden fra gjenkalling til vurdering

Hva blir vanskeligere når modellen husker syntaksen for deg? Jeremy Osborn tar for seg spørsmålet i Communications of the ACM, publisert 14. juli. Han bygger på Siegmund og kollegers fMRI-arbeid, som viste at kodeforståelse aktiverer nettverk for arbeidsminne, oppmerksomhet og språkbehandling, og på Barke, James og Polikarpova, som fant at utviklere bruker Copilot til å laste av standardkode, API-detaljer og ukjent syntaks samtidig som innsatsen flyttes over på å validere og integrere det som kommer ut.

Poenget hans er at avlastningen har en motregning. Osborn viser til Shihab og kolleger, der studenter med GitHub Copilot kom raskere gjennom oppgaver i eksisterende kodebaser og nådde lenger, men i intervjuer etterpå meldte at de ikke helt forsto hvordan eller hvorfor forslagene virket. En metaanalyse av Alanazi og kolleger fant tilsvarende at KI-hjelp løfter oppgaveytelse og effektivitet, men gir små og statistisk ustabile gevinster i faktisk læring.

«Den kognitive byrden har ikke forsvunnet. Den har flyttet seg fra gjenhenting til resonnering.» > — Jeremy Osborn, Communications of the ACM

Osborn sammenligner utviklingen med medisin, der diagnostiske verktøy senket kravet til å huske obskure kliniske detaljer, men hevet innsatsen for tolkning, skjønn og feiloppdagelse. Han peker på et paradoks i tilgjengeligheten: terskelen for å produsere kode synker, mens terskelen for å produsere god kode kan stige, fordi dømmekraft er vanskeligere å bygge opp enn hukommelse noen gang var. Arkitektonisk resonnering, konsekvensanalyse og langsiktig vedlikehold lar seg ikke laste av, skriver han, fordi de hviler på stabile mentale modeller av kodebasen.

For deg som bygger med agenter, er det den praktiske konsekvensen som teller: verktøyene gjør skrivingen raskere, men øker tiden du bruker på å sjekke og validere. Osborn mener modellen best behandles som en kognitiv protese, rask og nyttig, men ute av stand til å avgjøre om resultatet faktisk gir mening.