Metas åpne modeller kutter bildeannotering fra en måned til 15 minutter

Der bildeanalysen ved Lawrence Berkeley National Laboratory før krevde omtrent en måned med ekspertannotering per tidssteg, tar den nå et kvarter. Meta beskriver arbeidet på sin egen KI-blogg: SYNAPS-I, et prosjekt ledet av Berkeley Lab sammen med Argonne, Brookhaven, Oak Ridge og SLAC, har finjustert to av Metas åpne modeller på vitenskapelige bildedata fra strålelinjer og kjører dem på 300 A100-GPU-er ved anlegg som NERSC.

Problemet oppsto fordi detektorene ble for gode. Der de tidligere tok ett bilde hvert sjette sekund, tar de nå 100 000 bilder i sekundet, og det amerikanske energidepartementets lys- og nøytronkilder produserer titalls petabyte i året. Manuell analyse holder ikke tritt, og eksperimenter som følger kjemiske reaksjoner eller materialbrudd mens de skjer, krever tolkning i sanntid.

De to modellene deler jobben mellom seg. DINOv3 er selvveiledet og lærer visuelle mønstre fra rå bilder uten at noen merker dem først, og gir global kontekst om hva strukturene er og hvor de hører hjemme i prøven. SAM 3 trekker de presise pikselgrensene rundt hvert enkelt objekt. Sammen leverer de et rekonstruert og semantisk merket 3D-volum tilbake til forskeren som står fysisk ved instrumentet mens forsøket fortsatt kjører. Demonstrasjonen gjaldt vinranker under tørkestress: mikro-CT-skanninger av stengler der pipelinen automatisk finner xylemkarene som frakter vann i planten.

«Ved å kombinere KI, avansert databehandling og eksperimentelle systemer analyserer SYNAPS-I data mens de produseres og styrer forsøk i sanntid, og erstatter trege manuelle steg med adaptiv, automatisert beslutningstaking.» > — Dario Gil, understatssekretær i det amerikanske energidepartementet

Grunnen til at dette lot seg gjøre med Metas modeller, betyr noe hvis du selv vurderer åpne vekter. Nasjonallaboratoriene kan ikke sende upublisert forskningsdata til eksterne skytjenester, så modellene måtte kunne lastes ned, finjusteres og kjøres innenfor deres egne sikre miljøer. Det er den samme egenskapen som lar deg ta en modell trent på naturbilder og flytte den til et domene den aldri var ment for.