Mens flertallet av nyere robotikk-grunnmodeller (fra Nvidia GR00T til Googles RT-2) holdes lukket eller delvis lukket, er Ai2s linje fortsatt full åpenhet: modellvekter, datasett og verktøy publiseres samtidig. MolmoAct 2 forbedrer den tidligere versjonen ved å kjøre raskere og dekke flere oppgaver uten omfattende re-trening, ifølge Ai2.
Datasettet er det egentlige nyhetspoenget for forskere og hobby-roboticists. 700 timer koordinerte tobents-demonstrasjoner inkluderer å skanne dagligvarer, lade smarttelefoner og organisere objekter. Tidligere åpne datasett av denne typen har vært enten små (titalls timer), enkeltarmede, eller manglet bimanual-koordinering. Det er den biten som er hardest å skaffe utenfor industrielle labs.
«Models researchers can inspect, datasets they can build on, and (coming soon) training code they can adapt to new machines and situations.» — Allen Institute for AI
MolmoAct 2 kombinerer visuell resonnering med handlingsplanlegging og kan selektivt aktivere dypere 3D-resonnering når oppgaven krever det. Det sparer beregning på enklere bevegelser. Stanford School of Medicine har allerede testet modellen i CRISPR-arbeidsflyter på lab, der roboten flytter prøver og opererer utstyr som ledd i mer automatiserte selvkjørende wetlabs. I2RT Robotics bidro med YAM-armene som ble brukt i in-lab-evalueringen, og Cortex AI gjennomførte uavhengig benchmarking.
For norske forskere og utviklere som vil bygge robotapplikasjoner uten å låse seg til proprietære stacker, er MolmoAct 2 et solid grunnlag. Selv om du ikke selv har en bimanual rigg, gir datasettet grunnlag for å trene egne policies eller fine-tune for spesifikke oppgaver.
Hva bør du gjøre?
- Last ned datasettet og inspiser oppgavevariasjonen før du commit-er. 700 timer er mye, men det meste er trolig dagligdagse manipulasjoner. Sjekk om din egen target-oppgave dekkes.
- Sammenlign MolmoAct 2 mot OpenVLA og Pi-0 hvis du allerede jobber med åpne robotikk-grunnmodeller. Cortex AIs benchmarks gir et utgangspunkt for hva som er state of the art akkurat nå.
- Hvis du ikke har egen robothardware, kjør modellen i simulator først (RoboCasa, ManiSkill). Ai2 oppgir at modellen kjører «significantly faster» enn forrige versjon, men spesifikke FPS-tall mangler i lanseringen.