SkyPilot: RL-trent Qwen3-4B til 13 dollar slår GPT-6 Astra som sanntidspilot

Ifølge SkyPilot lander DeepSeek V4.1 Flash 87 % av kickflipene i storm når simulatoren venter på svaret, og 0 % når klokka går. Teamet bygde et RL-miljø rundt en fysikksimulator av en flyvende Tesla Roadster med fire trykkluftdyser, vind opptil 33 m/s og to stunt fra Teslas lansering: en rampe-flip og en kickflip over en Cybertruck. Bilen trenger en ny kommando hvert 0,2 sekund, og de åpne modellene bruker 1 til 6 sekunder på hvert svar.

Piloten som vant er Qwen3-4B-Instruct-2507 med en rank-64 LoRA, trent med open source-biblioteket SkyRL. Først kom en warm start med supervised fine-tuning på vellykkede flyvninger fra to lærere: en håndskrevet regelpilot i lett vind og DeepSeeks landinger i kuling og storm. Deretter 60 steg med GRPO. Hele treningen tok rundt 4 GPU-timer på H100, omtrent 13 dollar. Modellen svarer på 0,09 sekunder og lander 347 av 384 stormkickflips, mot 286 for GPT-6 Astra med ubegrenset tenketid.

Ren RL fra en utrent modell lærte aldri kickflipen, fordi alle forsøkene i en gruppe krasjet likt:

«Når alle åtte krasjer på samme måte, får de samme belønning, og modellen har ingenting å lære av.» — SkyPilot-teamet

Forbeholdene står i innlegget selv. Miljøet bygger på SkyPilots egne antakelser, testen bruker nye seeds av de samme to stuntene, og DeepSeeks stormflyvninger var med i treningsdataene. Forspranget på DeepSeek i storm (29 mot 16 flyvninger) er ikke signifikant, og teamet regner med at en klassisk PPO-kontroller ville landet nesten alt. Poenget gjelder taleagenter og alt annet som må handle mens verden går videre: de fleste benchmarker gir modellen all tid den vil ha.

Hva bør du gjøre?

1. Klon flying-roadster-rl-eksempelet i SkyPilot-repoet og fly din egen modell. Benchmarken snakker med alle OpenAI-kompatible endepunkter, også en lokal server, og trenger ingen GPU.
2. Mål median svartid i samme eval som treffsikkerhet hvis agenten din har en tidsfrist.