Sakana AI trener nevrale nett uten backpropagation med Error Diffusion

Der vanlige nevrale nett fritt bytter mellom positive og negative vekter og lærer via backpropagation, tvinger biologisk plausible nett hver nevron til å være enten eksitatorisk eller inhibitorisk. Sakana AI viser i papiret «Diffusing Blame» på arXiv at læreregelen Error Diffusion kan trene et slikt dobbeltstrøm-nett under denne begrensningen, kalt Dales prinsipp, uten backpropagation og uten å transportere transponerte vekter.

Trikset er «modulo error routing», som utvider Error Diffusion fra binær til flerklasse-klassifisering. Nettet lærer å klassifisere både MNIST og CIFAR-10, og selv om det taper mot Direct Feedback Alignment (en annen backpropagation-fri metode som ikke følger Dales prinsipp), er dette ifølge forfatterne første gang Error Diffusion er brukt på et konvolusjonsnett. Gapet mellom metodene vokser med oppgavens vanskelighetsgrad.

Forfatterne er tydelige på at CIFAR-10-resultatet fortsatt er langt unna det gradientbaserte metoder klarer. En ablasjonsanalyse viser dessuten at hvilken komponent som betyr mest, snur mellom oppgavene: på MNIST er lagvise sigmoid-bredder avgjørende, mens på CIFAR-10 er det batch-sentrert feilsignal som holder treningen fra å kollapse. De tester også en RL-variant, ED-PPO, som matcher DFA på flere Brax-kontrolloppgaver.

For de fleste som bygger KI-produkter i dag er backpropagation ikke noe problem å bytte ut, men lokale, transport-frie læreregler er interessante for dem som ser mot mer energigjerrig eller neuromorfisk maskinvare, der backpropagations krav om eksakte vekt-transponater er vanskelig å realisere fysisk.