Runways Solaris rendrer grensesnittet bilde for bilde i stedet for å kjøre kode

Normalt er det operativsystemet som bestemmer hva som skjer på skjermen, og en app står stille til noen slipper en oppdatering. Solaris, som Runway viste denne helgen, bryter med begge deler. Modellen oversetter ikke et design til kode først. Den rendrer grensesnittet selv, i 720p, og svarer direkte på klikk, dra og talekommandoer. The Decoder omtaler den som den første modellen i en kategori Runway kaller «Interface World Models».

Arkitekturen er todelt. En språkmodell bestemmer hvordan grensesnittet skal endre seg, mens verdensmodellen rendrer hvert enkelt bilde. Solaris bygger på Runways videomodell Gen-4.5 og følger sporet selskapet startet med GWM-1. Runway ser det også som treningsgrunn for KI-agenter, som fortsatt feiler på oppgaver som hotellbooking fordi de er trent på faste layouter og ikke takler nettsteder som avviker fra dem.

Runway peker på tre bruksområder:

1. Netthandel, der butikken selv er grensesnittet og du drar en skjorte over et bilde av deg selv for å prøve den. Butikken er ikke lenger én fast layout alle ser likt.
2. Produktvisualisering, der du sier «flytt bordet» eller «endre farge på sofaen» og scenen reagerer umiddelbart. Runway ser dette for møbel- og interiørplanlegging.
3. Opplæring, der neste steg vises visuelt i sin egen kontekst i stedet for som et tekstsvar fra en chatbot, for eksempel en forbrenningsdemo med ulike materialer.

Begrensningene avgjør om dette blir mer enn en demo. Stabil, lesbar tekst er fortsatt et hardt problem, og grensesnitt består nesten utelukkende av tekst. Lange sesjoner og pålitelighet er åpne spørsmål, og et galt resultat som ser overbevisende ut er verre enn ingen resultat. Genererte grensesnitt har heller ingen støtte for skjermlesere, noe som i praksis stenger dem ute fra alt som må oppfylle krav til universell utforming.

Runways større påstand er at «appen» som fast enhet forsvinner: klarer et operativsystem å generere riktig grensesnitt selv, er det mindre grunn til å sortere programvare i en fast katalog av apper. Om folk faktisk vil ha grensesnitt som endrer seg hele tiden, lar selskapet stå åpent. Solaris er et forskningsprosjekt inntil videre, og Runway leter etter partnere og tilbyr tidlig tilgang gjennom et skjema. For deg som bygger agenter er det ikke butikken som endrer seg som er interessant, men at et grensesnitt som genereres på nytt hver frame også fjerner de faste selektorene agenten din navigerer etter.