Der OpenAI, Anthropic og Google selger lukkede flaggskip, går Thinking Machines Lab motsatt vei. Startupen, grunnlagt av tidligere OpenAI-teknologisjef Mira Murati, slapp onsdag sin første egne modell Inkling med åpne vekter, ifølge TechCrunch. Det betyr at utviklere og selskaper kan laste den ned og endre den direkte, uten å gå veien om et betalt API.
Inkling er et mixture-of-experts-system med 975 milliarder parametere totalt, men trekker bare på rundt 41 milliarder for en gitt oppgave, et vanlig grep som holder store modeller raske og billige å kjøre. Den er trent på 45 billioner tokens med tekst, bilde, lyd og video, men gir foreløpig bare tekst ut, inkludert kode og strukturerte data. Modellen kan flagge egen usikkerhet i stedet for å gjette, og du kan skru «thinking effort» opp eller ned for å bytte nøyaktighet mot fart.
Selskapet er uvanlig ærlig om at dette ikke er toppmodellen på markedet.
«Inkling er ikke den sterkeste modellen tilgjengelig i dag, åpen eller lukket.»
Det skriver Thinking Machines Lab selv i bloggposten som fulgte lanseringen. Poenget er et annet: godt avrundet ytelse, og en modell organisasjoner skal finjustere selv via selskapets plattform Tinker. På én benchmark bruker Inkling ifølge selskapet en tredjedel så mange tokens som NVIDIAs Nemotron 3 Ultra for å nå samme kodeytelse.
Argumentet mot lukkede modeller får drahjelp fra uventet hold.
«Bedrifter som bruker proprietære modeller betaler i praksis dobbelt: én gang for abonnementet, og én gang ved å overlate forretningskunnskapen som ligger i egne prompts.»
Slik advarte Microsoft-sjef Satya Nadella nylig, ifølge TechCrunch, selv om Microsoft har investert milliarder i både OpenAI og Anthropic.
Bakgrunn
Tallene selskapet fremhever kommer fra egne evalueringer, ikke uavhengige. Et prosjekt med hedgefondet Bridgewater, der en åpen modell ble videretrent på fondets finanskompetanse, skal ha scoret 84,7 % på finansresonnering og kostet rundt en fjortendel så mye å kjøre. Inkling ble dessuten delvis post-trent på data generert av andre åpne modeller, blant annet Moonshot AIs Kimi K2.5. Selskapet sier neste modell skal bruke helt selvstendig post-trening.