Sol løftet OpenAIs objektdeteksjon til 46,2 mAP

«Sol er helt klart den beste synsmodellen OpenAI har sluppet så langt» — Piotr Skalski, Roboflow

Skalski kjørte hele GPT-5.6-serien, altså Sol, Terra og Luna, gjennom Roboflows kommende VLM-benchmark og publiserte tallene 16. juli. Benchmarken dekker deteksjon, telling, OCR og datauttrekk, og det er på objektdeteksjon spranget er tydeligst: fra 13,8 mAP@50 for GPT-5.5 til 46,2 for Sol. Terra og Luna havnet på 44,7 og 43,3.

Telling følger samme mønster. Sol traff 73,0 prosent mot 64,9 for GPT-5.5, mens Luna, den billigste modellen i serien, slo forgjengeren med 66,2. OCR står derimot på stedet hvil: Sol fikk 90,7 prosent mot 91,2 for GPT-5.5, og på målrettet tekstuttrekk gikk det tilbake, fra 87,6 til 82,5 prosent.

Den mest praktiske detaljen i gjennomgangen handler om koordinatformat. GPT-5.6 presterer best når du ber om absolutte XYXY-koordinater i piksler, mens Gemini 3.5 Flash vil ha YXYX normalisert til 0-1000. Bruker du feil format, faller deteksjonen med rundt 15 mAP-poeng, ifølge Roboflow.

Roboflow fant også at Sol av og til returnerte bokser i tilfeldige deler av bildet, ofte i unaturlige rader eller jevnt fordelte grupper. OpenAIs team bekreftet overfor Roboflow at Sol blir mindre stabil på bilder rundt 2 000 x 2 000 piksler og større, særlig ved lavt resonneringsnivå. Høyere nivå stabiliserer, men øker tokenbruk, latens og kostnad.

Prisen er der regnestykket snur. Sol kostet rundt 2,5 cent per bilde i benchmarken og brukte nær 10 sekunder, Terra rundt 1 cent og 6 sekunder, Luna under 0,5 cent og drøyt 5 sekunder. Gemini 3.5 Flash ligger på 0,8 cent per bilde og leder fortsatt både deteksjon og telling i den samme testen.

Hva bør du gjøre?

1. Be GPT-5.6 om absolutte XYXY-koordinater i piksler hvis du flytter en deteksjonspipeline fra Gemini, ellers taper du rundt 15 mAP på formatet alene.
2. Skaler ned eller beskjær bilder over 2 000 piksler før du sender dem til OpenAI-APIet, eller skru opp resonneringsnivået og regn med høyere kostnad.
3. Test Luna før du velger Sol: under 0,5 cent per bilde og drøyt 5 sekunder, og den slår forgjengeren på både deteksjon og telling.