Google DeepMind viser Genie 4: verdensmodell med lyd og tale, Gemini 3.8 Flash holder regien
onsdag 28. oktober · KI-generert · Kilde: deepmind.google
Vent med å planlegge rundt Genie 4: Google DeepMinds nye verdensmodell genererer lyd, tale og fysikk i sanntid, men er foreløpig bare åpen for utvalgte testere.
«Visuelle detaljer og objektpermanens kan fortsatt forskyve seg eller drive over tid», skriver Google DeepMind selv i kunngjøringen av Genie 4, verdensmodellen selskapet viste frem denne uken. Innrømmelsen sier mye om hvor teknologien står. Genie 4 genererer en interaktiv verden bilde for bilde mens du navigerer med tastaturet og styrer scenen med tekst-prompter, men verden holder ikke sammen lenge. Ifølge Ars Technica holder verdenene seg konsistente i bare et par minutter.
Nyhetene er tre. Genie 4 er DeepMinds første sanntids-verdensmodell som genererer lyd direkte: omgivelseslyd som vind i trærne og bølger på stranden, og dialog der figurene snakker og reagerer på det du gjør. DeepMind lover også mer realistisk fysikk (aerodynamikk og kollisjoner) og mennesker som beveger seg mer naturlig. Det tredje, og mest interessante for deg som bygger agenter, er arkitekturen rundt modellen.
Gemini 3.8 Flash jobber som styrende agent i løkken. Mens Genie 4 tegner verden, observerer Gemini scenen, bryter målet ned i delsteg og sjekker innkommende bilder for å verifisere at hvert steg lyktes. Ber du om annet vær eller en ny person i scenen, tilpasser Gemini instruksen til omgivelsene. DeepMind har også testet Gemini 4 Argon sammen med Genie 4: Argon deler en oppgave i steg og mater dem inn som tekstbeskrivelser mens simuleringen rendres. Det er samme planlegg-utfør-verifiser-mønster som i kodeagenter, bare med piksler i stedet for en terminal.
Bakgrunn
Genie 3 fikk spillaksjer til å falle i fjor, skriver Ars Technica, men kom aldri lenger enn den begrensede nettopplevelsen Project Genie. Genie 4 følger samme vei. Modellen er sluppet som forskningsforhåndsvisning for betrodde testere, og skal deretter komme til abonnenter av Google AI Ultra i Project Genie og til partnere med tidlig tilgang i Gemini API og Google AI Studio. Ultra-abonnementene starter på 100 dollar i måneden, ifølge Ars Technica, og API-prisen er ikke kjent. All video og lyd fra Genie 4 merkes med vannmerket SynthID.
Reaksjonene på Hacker News var blandet. En kommentator påpekte at en stor del av et slott, inkludert en katapult, forsvant da kameraet snudde i en av DeepMinds egne demovideoer. En annen savnet åpenhet:
«Absolutt null tekniske detaljer er publisert (ikke engang antall parametere)» — kouteiheika, kommentator på Hacker News
DeepMind beskriver selv verdensmodeller som et steg mot AGI og som treningsmiljø for roboter og agenter. Inntil API-tilgangen og prisen er på plass, er Genie 4 et signal om hvor agent-trening er på vei, ikke et verktøy du kan bygge på.