Fysikk-KI trenger struktur, ikke flere tokens, sier Anima Anandkumar

For noen år siden bestemte Caltech-professor Anima Anandkumar seg for å bygge den første åpne værmodellen med KI. Ekspertene hun snakket med, var skeptiske: været er kaotisk, fysikksimuleringer har vært utviklet i tiår, de krever superdatamaskiner, og dataene finnes ikke. Innen et år hadde teamet hennes bygget FourCastNet, en prediktiv modell som konkurrerer med de beste fysikkbaserte simuleringene. Latent.Space, som publiserte samtalen med henne, skriver at hvem som helst nå kan lage treffsikre kortsiktige værvarsler på forbruker-GPU-er.

Feltet oppfører seg motsatt av resten av KI. Åpne datasett innen mange av disse domenene ligger på titusener eller hundretusener av eksempler, langt under det transformere trenger. Verre er oppløsningen fysikken krever.

«Hvis hver dimensjon har bare noen hundre rutepunkter, som er der industriell skala begynner, snakker vi hundrevis av milliarder til og med en billion i kontekstlengde. Så glem å noensinne ha en transformer for noe på denne skalaen, all verdens datakraft vil ikke være nok» — Anima Anandkumar

Svaret hennes er Neural Operators, en teknikk som lar deg kombinere data og fysiske lover og håndtere inn- og utdata på mange skalaer samtidig. Du modellerer ikke lenger et rutenett, men en funksjon som utvikler seg over skalaer, og da kan fysisk intuisjon bygges inn som forhåndsantakelser.

Værvarsling viser hvorfor det virker. Jorden er en kule, og riktig modellering krever riktig basissett, nemlig de sfæriske harmoniske funksjonene. Kjører du en værmodell på et rutenett, sprekker den fort. Flytter du den til den naturlige basisen for problemet, holder den seg stabil lenge nok til å rulle måneder fram i stedet for dager. Anandkumars Fourier Neural Operator lærer direkte i frekvensdomenet, og den sfæriske varianten driver FourCastNet 3.

Den fysiske verden viser seg også å være mer tilgivende enn ventet. Innen fusjon holder noen få tusen eksempler for å forutsi plasmaforstyrrelser, og å gjøre det en million ganger raskere enn tradisjonell simulering.

«Alt som virker med dyplæring, la oss ta det, men gjøre det litt mer prinsipielt» — Anima Anandkumar

Ambisjonen er fortsatt en grunnmodell for fysikk som spenner over mange fenomener og gjør både simulering og design. Anandkumar jobber parallelt med TorchLean, et rammeverk der du skriver nettverk i PyTorch-stil inne i bevisassistenten Lean og verifiserer dem formelt. Det er en forutsetning hvis et nevralt nett skal inn i kontrollsløyfen til en fusjonsreaktor. Hun er også nylig oppnevnt til FNs vitenskapelige rådgivende panel.

Signalet for deg som bygger, er at bitter lesson-oppskriften har en grense. Der data er knappe og oppløsningen er høy, betaler det seg å bygge inn strukturen problemet allerede har, ikke å kaste flere tokens på det.