OpenAI trente GPT-6 Astra i Ironclads kontraktsystem og nesten halverte tiden per oppgave

«Det holder ikke å få enkeltstegene riktig: den ferdige prosessen må fungere i alle situasjonene den ble laget for å håndtere.» Slik beskriver OpenAI problemet i et blogginnlegg 6. oktober, der selskapet presenterer kontraktplattformen Ironclad som første partner i et program for å trene agenter på spesialisert bedriftsprogramvare. GPT-6 Astra er OpenAIs første frontier-modell trent på Ironclad-oppgaver.

Ironclad-ansatte og folk som bruker Ironclad internt hos OpenAI hjalp forskerne med å peke ut 11 oppgaver innen juss, kommersielt arbeid og innkjøp. Eksemplene er å sette opp taushetserklæringer, bygge godkjenningsflyter for innkjøp og oppdatere en gjenbrukbar kontraktsklausul slik at den følger jurisdiksjonen brukeren velger. OpenAI anslår at en erfaren bruker trenger 30 til 40 minutter per oppgave. Hver oppgave ble vurdert mot 8 til 50 kriterier, slik at forskerne kunne se nøyaktig hvilke deler modellen fikk til. Ironclad stilte vertsmiljøer av produktet til rådighet, og der øvde modellene på syntetiske treningsoppgaver med forsterkningslæring.

Med Max reasoning for Astra og High reasoning for GPT-5.6 Sol, innstillingene der hver modell scoret best, fikk Astra 55,0 prosent i snitt mot 41,6 prosent for Sol. Anslått tid per forsøk falt fra 37,0 til 19,2 minutter. En intern modell fra utviklingen av Astra nådde 63,7 prosent, og OpenAI sier at de gevinstene skal inn i fremtidige modeller.

Les tallene med det i bakhodet at dette er OpenAIs egen forskningsevaluering på 11 oppgaver, med anslått og ikke målt tid, og at selv Astra står igjen med en snittscore på 55 prosent. OpenAI skriver selv at menneskelig tilsyn fortsatt betyr noe når agentene håndterer kontrakter.

«Økonomien i slike avtaler blir sjelden offentliggjort. … Detaljene som er verdt å fastslå, er datavilkårene.» — Newsquawk

Finansnyhetstjenesten Newsquawk peker på at det avgjørende er om den trente evnen havner i partnerens produkt eller i laboratoriets generelle tilbud. Kildene gir ikke et fullt svar. OpenAI skriver at Astra er trent på Ironclad-oppgavene og at gevinstene skal inn i fremtidige modeller, og at Ironclad kan ta modellene i bruk i flere av sine egne produkter. Hva Ironclad får igjen for dataene, sier ingen av dem noe om.

Bakgrunn

Da OpenAI lanserte GPT-6 Astra, viste selskapet modellen i datamaskinbruk for profesjonelt arbeid, fra dokumentforberedelse til testing av nettsider. Nå inviterer OpenAI et lite antall programvareselskaper til å bringe inn oppgaver dagens agenter ikke løser pålitelig, sammen med bevis på hvor agenten feiler, et sikkert testmiljø og data som trygt kan brukes i forskning.

For deg som bygger egne agenter er metoden mer interessant enn partnerskapet. Å bryte en oppgave ned i mange delkriterier i stedet for bestått eller ikke bestått er en evalueringsform du kan kopiere i din egen testsuite, uansett hvilken modell du kjører.