Etter tre måneder med Claude: nyttig til søk, middelmådig til kode

Der KI-verktøyene faktisk sparte ham tid, var det ikke i editoren. Ropert, som jobber med C++ og spillmotorer, beskriver i essayet «An Honest Review of AI Programming» hvordan den største gevinsten kom fra å søke i arbeidsgiverens egne wikier, Slack-logger og Confluence-sider. Han fant svar skrevet før han begynte i jobben, fordi modellen oversetter ett naturlig språkspørsmål til en serie søk på sannsynlige synonymer. Interne søkefunksjoner gjør sjelden det, mens Google har generert synonymer i tjue år.

Kodegenerering gikk motsatt vei. Ropert ba om en konkret Unity-optimalisering: fjern Update-metoden fra et MonoBehaviour-objekt, samle objektene i en liste eid av en manager-klasse, og kjør oppdateringen som en for-løkke der. Claude bygget i stedet en egen baseklasse med en OnUpdate-metode og et arvehierarki over det, en mer omstendelig løsning enn den han ba om. Endringen berørte to eller tre filer.

Forklaringen han lander på er treningsdata. Den siste AAA-tittelen som ble sluppet som åpen kildekode er Doom 3 fra 2004, og det som finnes av spillkode på GitHub er stort sett hobbyprosjekter, game jams og tutorial-demoer. Språk som favoriserer objektorientering dominerer datagrunnlaget, noe som gjør det rimelig at modellen strekker seg mot et designmønster ingen hadde bedt om.

«Det er interessant hvordan KI hele tiden gir feil informasjon og uriktige påstander om mitt eget fagfelt. Heldigvis er den veldig nyttig og alltid korrekt om temaer jeg kan lite om.» — pikuma.com, sitert i essayet

Ropert beskriver også en feilmodus som treffer alle som kobler modeller mot interne datakilder. Claude hevdet at en anbefaling han holdt på å skrive var støttet av tidligere rapporter, helt til det viste seg at en av dem var den samme rapporten, i utkastform. Han fanget det opp fordi han hadde kildeoversikten foran seg.

For deg som bygger agenter mot bedriftens dokumenter er det den konkrete lærdommen: agenten kan lese sin egen forrige output som en uavhengig kilde, og du oppdager det bare hvis den viser hvilke kilder den bygger på.