Matematikerforening ber kolleger kutte samarbeidet med OpenAI etter 376 KI-genererte artikler
fredag 9. oktober · KI-generert · Kilde: The Decoder
Krever boikott av OpenAI: Association for Human Mathematics reagerer på at selskapet la ut 376 KI-genererte matematikkartikler på én gang, mange så tette at selv eksperter trenger KI-hjelp for å lese dem.
«Det føles som noe skrevet av noen som er på psykedelika.» Slik beskrev Dana Moshkovitz det påståtte beviset for Unique Games-formodningen i tekstmeldinger som ektemannen, kompleksitetsteoretikeren Scott Aaronson, gjengir på bloggen sin. Moshkovitz har arbeidet mot et bevis for formodningen så lenge Aaronson har kjent henne. Nå ligger et kandidatbevis i OpenAIs utgivelse fra 6. oktober, og hun mener det er umulig å lese uten KI-hjelp.
The Decoder samlet 8. oktober reaksjonene, og den skarpeste kom fra Association for Human Mathematics (AHM). Foreningens uttalelse ble lagt ut som gjesteinnlegg på Terence Taos blogg 7. oktober og ber matematikere avslutte samarbeidet med OpenAI.
«Å legge ut over 700 filer på én gang er ikke en demonstrasjon av vitenskapelig arbeid, men en demonstrasjon av makt» — Association for Human Mathematics
AHM viser til at Advisory Group on Mathematics and Artificial Intelligence, rådet OpenAI selv henviser til, åpnet sin første uttalelse med at KI-selskaper ikke bør teste avanserte matematikkproblemer på interne modeller.
Striden handler mest om hvem som gjør jobben etterpå. Aaronson stiller opp to modeller. I OpenAI-modellen slippes rå bevisutkast samlet, og mennesker kappes om å forstå dem i arbeid han kaller utakknemlig og dårlig kreditert. I Anthropic-modellen samarbeidet selskapet med to algoritmeforskere som fikk betalt og skrev et bevis mennesker kan følge. Prisen er at et privat selskap velger hvilke matematikere som får presentere KI-resultatene.
Ikke alle er enige med AHM. Jörg Neunhäuserer skriver i kommentarfeltet hos Tao at han har jobbet med tre av problemene som nå er løst, og at han heller føler lettelse enn tap.
Aaronson peker også på et fravær: kryptografi mangler i utgivelsen. Kildene hans sier at KI-selskapene i det stille undersøker om de nyeste interne modellene kan bryte viktige kryptografiske protokoller og primitiver.
For deg som lar agenter skrive kode, er regnestykket det samme. Ifølge OpenAIs repo brukte hvert resultat i snitt tre timers tenketid med ChatGPT Pro, mens kostnaden ved å kontrollere resultatet havner hos dem som skal bruke det. Forskjellen mellom de to modellene til Aaronson tilsvarer forskjellen mellom en agent som leverer en rå diff på tusenvis av linjer, og en som leverer en forklart PR noen faktisk kan gå gjennom.