100 timer på én måned. Det er innsatsen Joey Hess, utvikleren bak backup- og filsynkroniseringsverktøyet git-annex, la ned for å sikre at prosjektet kan bygges uten avhengigheter som inneholder LLM-generert kode. I et blogginnlegg beskriver han jobben som å måtte gjennomgå hele avhengighetstreet løpende, og spør oppgitt om det er dette programmering har blitt.
«Needing to review a program's whole dependency tree on an ongoing basis is apparently what programming has come to?» — Joey Hess, utvikler av git-annex
Det han fant er det interessante. Store LLM-genererte endringer ble reversert i neste utgivelse uten noen forklaring. Én commit hadde en usammenhengende melding på 1489 linjer koblet til 10 000 linjer endringer i en kodebase på 26 000 linjer. Og en LLM-prompt for å kopiere kode fra et annet prosjekt slapp ifølge Hess unna opphavsrettsbrudd bare på grunn av flaks.
Hess er ærlig på at han trolig prøver å demme opp for en flodbølge. Han peker på at Software Freedom Conservancy har gitt opp linjen, og tviler på at Free Software Foundation gjør det bedre. Den eneste gevinsten han ser, er at han nå vet mer om kvaliteten på avhengighetene sine, og at den kunnskapen vil påvirke framtidige valg.
For deg som vedlikeholder et prosjekt med en lang avhengighetsliste er dette et tidlig varsel: at kode i oppstrøms-avhengigheter er skrevet og forstått av et menneske, kan ikke lenger tas for gitt, og kostnaden ved å verifisere det er reell og målbar.