Decisions API er GPT-6 Luna uten ny trening, sier OpenAIs produktleder for API-et

«Vi har ikke trent en ny modell for dette … Vi bygger det rent oppå de samme Luna-vektene vi har.» — Nikunj Handa, produktleder for API-et i OpenAI

Handa sa dette i Latent Space-podkasten, innspilt samme dag som OpenAI DevDay. Decisions API kombinerer strukturerte svar med en inferensstakk som er optimalisert for kort tid til første beslutning, og flere spørsmål kjøres parallelt som en batch. For fire uker siden var ideen ikke på planen. En utvikler fra inferensteamet og en fra infrastrukturteamet laget en prototype etter at Jev slo an, og ifølge Handa startet hele prosjektet for omtrent en uke siden.

Programleder Swyx påpekte at Luna med reasoning skrudd av og strukturert output ikke gjør en Jev, siden poenget er at sannsynlighetene stemmer. Handa svarte at kalibreringen kan bli et av områdene der OpenAI må forbedre seg med en fremtidig modellutgivelse. Bildeforståelse får API-et derimot gratis fra Luna.

Resten av samtalen er nyttig for deg som bygger agenter på Responses API:

1. Med asynkrone verktøykall fortsetter modellen å resonnere mens et verktøy kjører, og med mid-turn steering kan du sende inn nye meldinger midt i et resonnement. Begge går over WebSockets.
2. OpenAI garanterer cache-treff innen 30 minutter, og en garanti på 12 timer er i preview mot litt høyere pris for cache-skriving. Med pre-warming betaler du skrivingen på forhånd og har cachen klar i 30 minutter.
3. Lange tråder komprimeres automatisk over en tokengrense på serversiden, eller manuelt med /compact. Handa sier mange store kodeagenter, deriblant Codex, foretrekker den manuelle varianten.

Ari Weinstein, som jobber med produkt og utvikling for Computer Use i OpenAI, mener feltet er «180 grader annerledes» enn da podkasteren Dwarkesh hevdet at det ikke hadde kommet videre på to år. Agentene skriver nå JavaScript som utfører mange handlinger i én operasjon, og kombinerer skjermbilder, tilgjengelighetstrær og DOM.

Hva bør du gjøre?

1. Sammenlign Decisions API med Luna uten reasoning og med strukturert output på dine egne klassifiseringsoppgaver, siden vektene er de samme.
2. Pre-varm cachen for systemprompter du vet kommer, og bruk OpenAIs cache-diagnostikk til å finne hvor treffene faller bort.