Black Forest Labs slipper FLUX 3 Action, en åpen 7B-modell for robotarmer

38,3 prosent av oppgavene i simuleringsbenchmarken RoboLab-120 løser ettstegsvarianten av FLUX 3 Action, mot 36,8 prosent for Nvidias Cosmos 3 Nano og 28,0 prosent for Pi0.5. Black Forest Labs publiserte modellen og en detaljert gjennomgang på bloggen sin 22. september. Med 7 milliarder parametere er den under halvparten så stor som Cosmos 3 Nano på 16 milliarder, og ifølge selskapet opptil 3,95 ganger raskere enn den tidligere beste åpne modellen.

FLUX 3 Action er en world-action-modell bygget på den multimodale FLUX 3-modellen, der video utgjorde over 95 prosent av treningstokenene. Den tar inn kamerabilder, robotens tilstand og en tekstinstruks, og predikerer neste bevegelser sammen med neste videobilder. Farten kommer av at Black Forest Labs har destillert bort det ekstra guidance-passet og kuttet samplingen ned til ett steg. I en blindtest hos Positronic Robotics på en Franka-arm fullførte modellen 28 av 30 forsøk, mot 27 for Cosmos 3 Nano og 13 for Pi0.5.

«I robotikk er finjusteringsoppskriften like viktig som vektene.» — Black Forest Labs, i blogginnlegget om modellen

Vektene ligger i tre repoer på Hugging Face: en base for nye robottyper og ferdige policyer for DROID og hobbyarmen SO-101. SO-101-policyen lastes direkte i LeRobot med Flux3Policy, og repoet har en LoRA-oppskrift (rang 32, 10 000 steg) for finjustering på ditt eget datasett. Ifølge dokumentasjonen krever BF16-inferens rundt 32 GB GPU-minne på Linux med Nvidia-kort, og FP8 gir over 1,4 ganger raskere kjøring på RTX 5090 og RTX Pro.

Lisensen, FLUX Kommunity License v1.0, gir fri bruk til ikke-kommersielle formål, og hobbyprosjekter er nevnt eksplisitt. Output kan du bare bruke kommersielt hvis du og tilknyttede selskaper omsetter for under 5 millioner dollar i året. All annen kommersiell bruk krever en egen lisens fra Black Forest Labs.

Hva bør du gjøre?

1. Last ned flux-3-action-so101 hvis du har en SO-101-arm, og test den på egne oppgaver før du trener en LoRA på ditt eget datasett.
2. Sjekk GPU-minnet først: rundt 32 GB i BF16 gjør et kort på 24 GB i minste laget, og dokumentasjonen oppgir bare minnebehovet for BF16.
3. Legg inn egne grenser for hastighet, kraft og arbeidsområde i koden din og ha en nødstopp innen rekkevidde, for modellkortet sier at modellen ikke begrenser noe av dette selv.