Gebru og Bender: sommerens KI-gjennombrudd faller fra hverandre når fagfolk ser på dem

«Det finnes i dag et sterkt kommersielt insentiv hos teknologibransjen til å overdrive produktenes evner», heter det i et opprop signert av hundrevis av matematikere. Timnit Gebru, direktør for forskningsinstituttet DAIR, og Emily M. Bender, professor i lingvistikk ved University of Washington, bruker oppropet som utgangspunkt i en kommentar publisert i MIT Technology Review 22. september.

De går gjennom hendelsene fra de siste månedene: Anthropics påstand i slutten av april om at modellen Claude Mythos finner programvaresårbarheter bedre enn de fleste sikkerhetseksperter, hackinghendelsen mellom OpenAI og Hugging Face med påfølgende erkjennelser fra Anthropic og Meta, konkurrerende påstander om matematiske gjennombrudd fra begge selskaper, og Anthropic-ingeniøren Jacob Coxons virale avskjed der han hevdet at selskapet og OpenAI «kjører rett mot selvforbedrende superintelligens og gambler med livene våre».

Mønsteret er det samme hver gang, skriver de to. Selskapet kommer med en påstand, pressen dekker den bredt og gjentar ofte selskapenes egne antropomorfiserende rammer, og når fagfolk i det aktuelle feltet rekker å undersøke saken, kommer en annen historie fram med langt mindre oppmerksomhet. Om hackinghendelsene sier sikkerhetsfolk ifølge forfatterne at saken handler mer om manglende bruk av etablert sikkerhetspraksis enn om modeller på avveie. Matematikere som først ble imponert av OpenAIs pressemelding om at chatboten Astra hadde løst problemer som hadde stått uten framgang i minst ti år, fant senere ut at resultatene ikke var så nye som de så ut. Siden har matematikere anklaget OpenAI for forskningsjuks og plagiat. Tristan Buckmaster, matematikkprofessor ved Courant Institute ved New York University, publiserte en uttalelse som antydet at OpenAI hadde tatt andres arbeid og kreditert det feil.

Det samme oppropet ber politikere om å rådføre seg med fagfolk, matematikere inkludert, når de utformer politikk, i stedet for å lene seg på pressemeldinger eller populær omtale av matematiske resultater.

Gebru og Bender peker også på hvorfor nettopp koding og matematikk brukes som utstillingsvindu. Begge er felt der et foreslått svar kan verifiseres, og det gjør dem billige å optimalisere mot: systemets utdata kan vurderes automatisk, uten å betale folk for å annotere hvert enkelt eksempel.

Det er den observasjonen som er mest brukbar for deg som velger modell til et prosjekt. Benchmarks i felt med maskinelt verifiserbare svar måler nettopp det systemene er trent hardest mot, og sier tilsvarende lite om oppgavene der du ikke har en automatisk gradere å teste mot.