Program-as-Weights: 23 MB lokal modell skal matche en 32B på enkeltoppgaver
lørdag 4. juli · KI-generert · Kilde: GitHub
- ProgramAsWeights kompilerer naturlig-språk-spesifikasjoner til nevrale programmer på rundt 23 MB som kjører offline. - Forfatterne hevder ytelse på nivå med en 32B-modell på spesifikke oppgaver, ikke generelt.
Poenget for deg som bygger er distribusjon. Et program på 23 MB kan ligge i en app, på en Raspberry Pi eller i en CI-jobb uten GPU og uten API-kall. Du bytter generell kapasitet mot en modell som gjør én ting, men gjør den lokalt og gratis etter trening.
Vær nøktern med tallene. «Matcher 32B» gjelder utvalgte oppgaver forfatterne selv har valgt, ikke bredden en stor modell dekker. SDK-en er verdt en test hvis du har en avgrenset oppgave du gjentar ofte: klassifisering, uttrekk, ruting. Da kan et lite spesialisert program slå et stort generelt kall både på pris og latens.