Program-as-Weights: 23 MB lokal modell skal matche en 32B på enkeltoppgaver
SYNOPSIS_GENERERT
En fil på 23 MB mot en modell på 32 milliarder parametere. Det er sammenligningen ProgramAsWeights legger opp til: et nytt paradigme og en Python-SDK som kompilerer oppgavespesifikasjoner skrevet i naturlig språk til lette nevrale programmer som kjører helt offline. På utvalgte oppgaver skal en slik 23 MB-fil matche ytelsen til en 32B-modell, ifølge forfatterne. Paperet ligger på arXiv (2607.02512), og SDK-en er åpen kildekode på GitHub.
Poenget for deg som bygger er distribusjon. Et program på 23 MB kan ligge i en app, på en Raspberry Pi eller i en CI-jobb uten GPU og uten API-kall. Du bytter generell kapasitet mot en modell som gjør én ting, men gjør den lokalt og gratis etter trening.
Vær nøktern med tallene. «Matcher 32B» gjelder utvalgte oppgaver forfatterne selv har valgt, ikke bredden en stor modell dekker. SDK-en er verdt en test hvis du har en avgrenset oppgave du gjentar ofte: klassifisering, uttrekk, ruting. Da kan et lite spesialisert program slå et stort generelt kall både på pris og latens.