Gemini Robotics 2 styrer hele robotkroppen, fra føtter til fingertupper

Google DeepMind kunngjorde 30. juli at Gemini Robotics 2 håndterer det selskapet kaller helkroppsbevegelser. Forrige modell styrte bare overkroppen på en humanoid robot. Den nye kan gå, huke seg ned, strekke seg og håndtere gjenstander i samme bevegelsesrekke. I videoene selskapet har delt bøyer Apptroniks Apollo 2 seg ned for å plukke opp en vannkanne og finner bestemte gjenstander på en hylle.

Fingerferdigheten er oppgradert i samme slengen. Modellen styrer nå femfingrede hender, og demonstreres på oppgaver som å lukke en Ziploc-pose, knyte en søppelsekk og skru ut en lyspære.

«Robotene våre har fortsatt mer å hente på bevegelseshastighet.» — Google DeepMind

For deg som bygger er ER-modellen mer interessant enn kroppen. Gemini Robotics ER 2, vision-language-modellen som tolker omgivelser og instruksjoner, skal nå forstå når en oppgave begynner og slutter. Det er en forutsetning for å kjøre lange oppdrag uten at et menneske må si fra at jobben er ferdig, og det er nøyaktig samme problem agent-byggere sliter med utenfor robotikken.

Google DeepMind oppgir også at ER 2 er selskapets sikreste robotikkmodell så langt: den oppdager mennesker i nærheten bedre, utløser sikkerhetskall og stopper roboten hvis noen kommer for tett. Modellen skal dessuten få flere roboter av ulik type til å samarbeide. I én video instruerer Apollo 2 Googles tvillingarm-robot om å legge verktøy i en kasse mens de rydder en garasje.

On-device-varianten, som kjører lokalt på roboten uten nettforbindelse, tilpasser seg raskere til nye robotkropper med andre former, sensorer og frihetsgrader. Oppgavegrenser og lokal kjøring er de to tingene som avgjør om en robotmodell kan brukes utenfor en demo, og begge flyttet seg i denne utgivelsen.