Beslutningsmodellen Jev nådde 35 prosent av betalende Vercel-team på to uker
fredag 16. oktober · KI-generert · Kilde: TechCrunch
Vurder en beslutningsmodell til klassifiseringsjobbene dine: Jev nådde 35 prosent av de betalende teamene i Vercel AI Gateway på to uker, men sto for bare 0,27 prosent av kostnaden.
Hver måned publiserer Vercel en Production Index basert på trafikken gjennom AI Gateway, som ruter titalls billioner tokens mellom apper og KI-laboratorier. Oktober-utgaven, med data til og med september, har en tydelig vinner på adopsjon. Jev, en beslutningsmodell fra TypeSafe AI som kom i begrenset utgivelse 15. september, ifølge TechCrunch, nådde over en tredjedel av de betalende teamene de to første ukene. Det er nesten dobbelt så mange som Sonnet 5.5 på andreplass, og raskere enn noen modell i gatewayens historie.
Jev velger mellom et lite sett forhåndsdefinerte svar i stedet for å skrive fri tekst. Det gjør den billigere og raskere enn Sonnet, og egnet til å klassifisere store datamengder. Vercel bruker den selv til å klassifisere skadelige kommandoer, der den erstattet GPT-6 Luna. Av teamene som prøvde Jev første uke, kom 55,6 prosent tilbake uka etter.
«Sammenlignet med typiske forespørsler til språkmodeller er en Jev-forespørsel raskere, billigere og bruker en brøkdel av tokenene.» — Vercel, i Production Index for oktober
Resten av rapporten peker samme vei: billige modeller tar volumet. Åpne modeller behandler nå over 70 prosent av gateway-tokenene og står for nesten en fjerdedel av kostnaden. DeepSeek-v4.1-Flash alene sto for nesten halvparten av septembertokenene, men bare 2,6 prosent av kostnaden. Samtidig var den samlede kostnaden i september omtrent 13 ganger desember-nivået, mens snittprisen per token falt 47 prosent.
Tallene har klare grenser. TechCrunch påpeker at gatewayen kan telle for lite bruk av OpenAI og Anthropic, som selger via egne API-er, og Vercel regner kostnad ut fra listepris.
Hva bør du gjøre?
- Flytt jobber med faste svaralternativer, som moderering, ruting og tagging, over på en beslutningsmodell, og mål kostnaden mot den generelle modellen du bruker i dag.
- Legg modellvalget bak en gateway eller et tynt abstraksjonslag, siden nesten hvert tredje team byttet sin mest brukte lab i september.