Nvidia Isaac ROS 5.0 gir kodeagenter egne skills for robotutvikling

Nvidia lanserte Isaac ROS 5.0 på ROSCon i Toronto 22. september. Isaac ROS er en samling GPU-akselererte pakker bygget på ROS, og ifølge Nvidias blogg er 5.0 laget for at både mennesker og KI-agenter skal kunne bygge roboter. ROS har nesten 1,3 millioner brukere, ifølge Nvidia.

Den agentiske delen består av nye Isaac-skills for oppsett og manipulasjon, gjenbrukbare arbeidsflyter som en kodeagent kan kjøre, pluss dokumentasjon skrevet for at agenter skal forstå verktøyene. En egen skill lar agenten finjustere stereomodellen FoundationStereo til dine kameraer og ditt miljø. Pick and place, som kobler deteksjon, dybdeestimering og posisjonsdata, er skilt ut som en frittstående skill som også virker utenfor Isaac ROS.

Plattformsiden betyr like mye for de som allerede kjører ROS. Versjon 5.0 støtter ROS Lyrical og Ubuntu 24.04, og Nvidia har sammen med Open Source Robotics Alliance bidratt med et standard datahåndteringsgrensesnitt til ROS Lyrical, slik at programvare kan akselereres på ulik maskinvare, med CUDA som eksempel. FoundationPose, en grunnmodell for posisjonsestimering, har fått et agent-klart inferensbibliotek som sporer objekter opptil 5,5 ganger raskere. Maskinvarespennet går fra Jetson Orin Nano til Jetson Thor.

Økosystemet følger etter. AgenticROS, et åpent prosjekt sponset av RealSense, kobler Isaac ROS til Nvidias Nemotron-modeller slik at agenter kan samhandle med ROS-roboter. Ekumen bruker isaac_ros_cumotion på GPU til å planlegge kollisjonsfrie baner for en lagerarm på rundt 2 til 5 millisekunder.

Hva bør du gjøre?

1. Hent Isaac ROS fra GitHub hvis du har en Jetson Orin Nano eller kraftigere, siden 5.0 er gratis og åpen kildekode.
2. Gi kodeagenten din Isaac-skillene og den agent-klare dokumentasjonen før du ber den sette opp en perception-pipeline.
3. Test FoundationStereo-skillen hvis dybdeestimeringen sliter med ditt eget kameraoppsett.