InstinctFlash gjør robotikkmodeller opptil 7,88 ganger raskere på Jetson Thor

7,88 ganger. Så mye raskere svarer robotpolicyen pi0.5 på Jetson Thor når InstinctFlash kjører den i FP8, målt mot vanlig PyTorch: 51,85 millisekunder mot 408,58 i median. Tallet står i README-en til InstinctFlash på GitHub, der General Instinct publiserte Thor-målingene 15. september sammen med full kildekode.

Selskapets eget overskriftstall er 33,78 ganger, men det måler noe annet. For LingBot-VA kombinerer det FP8 med en kortere samplingsplan, fra 25V/50A til 2V/4A, og responstiden går fra 15 506 til 459 millisekunder. Med samme plan på begge sider er gevinsten for LingBot-VA 5,36 ganger, og på tvers av de ni målte radene ligger den mellom 1,19 ganger for GR00T N1.7 og 7,88 for pi0.5. General Instinct skriver at de ikke har sett tap i oppgaveytelse i egne tester på ekte roboter, og at både FP8 og endrede steg er valgfrie.

Runtimen støtter LingBot-VA, to LingBot-VLA-varianter, pi0.5, GR00T N1.7, Cosmos3 Edge og Nano samt DreamZero. Støtte for RTX 4090 kom 16. september og RTX 5090 dagen etter, med samme Runtime-API som på Thor. Standard er native presisjon med et BITEXACT-tak, så FP8 må slås på eksplisitt.

Pek instinctflash serve mot et finjustert checkpoint, så gjenkjenner runtimen modellfamilien, skriver en liten instinctflash.json og begynner å servere.

«Alt checkpointet ikke kan bevise, blir du spurt eksplisitt om, aldri gjettet» — README-en til InstinctFlash

Over nettverket bruker den samme msgpack-over-websocket-protokoll som pi0/openpi-økosystemet, slik at eksisterende robotklienter kobler seg på uendret. GitHub oppgir AGPL-3.0 som lisens.

Hva bør du gjøre?

1. Kjør instinctflash serve med --serve.dry_run først, som sjekker enhet, deklarasjon og plan uten vekter eller GPU.
2. Behold native presisjon til du har målt oppgaveytelsen på ditt eget checkpoint, og slå på --fp8 etterpå.
3. Bruk reproduksjonsskriptene under benchmarks.regression på ditt eget RTX 4090 eller 5090 i stedet for å overføre Thor-tallene direkte.