Baseten joey-1: 2B beslutningsmodell med åpne vekter svarer på 20 ms for 0,01 dollar per million tokens

Baseten slapp joey-1 denne uken, åtte dager etter storebrødrene mammoth-1 (27B) og elephant-1 (9B). Forskjellen ligger i hastighet og pris: joey-1 svarer på en gjennomsnittlig forespørsel på 2 000 tokens med en P50-latens på 20 ms, mot 49 ms for elephant-1, og koster 0,01 dollar per million tokens, en tidel av mammoth-1. Modellen er etterlært fra Qwen3.5-2B av Basetens forskningslab Base Labs, og vektene ligger på Hugging Face under MIT-lisens.

En beslutningsmodell genererer ikke tekst. Du gir den en tilstand (tekst, eventuelt bilder) og et sett spørsmål, og den returnerer en kalibrert sannsynlighet for hvert alternativ i én forward pass. Modellkortet beskriver tre spørsmålstyper: noul for ja/nei, choice for ett av flere navngitte alternativer og score for ordnede nivåer. Alle spørsmålene besvares fra én felles prefill.

«Mange LLM-bruksområder trenger ikke generert tekst, de trenger beslutninger.» — Baseten, i lanseringsbloggen

joey-1 havner i en tett kategori. På Jev Decision Index 0.4 (offentlig split) scorer joey-1 63,30, nummer 37 av 230 modeller og best under 4B ifølge Baseten. Det er foran Cloudflare Clef (61,71) og Jev 1.14 (60,70), men klart bak elephant-1 (72,24). Baseten skriver selv at joey-1 ligger bak elephant-1 på alle områder, og at detaljene fra de interne testene kommer senere.

Økonomien er argumentet. Basetens eget regneeksempel: 10 millioner supportsaker i måneden på rundt 500 tokens gir 5 milliarder tokens, som koster omtrent 50 dollar med joey-1 og 500 dollar med mammoth-1. Forfatteren av en bloggpost om beslutningsmodellenes økonomi på pncnmnp.github.io beskriver samme mekanisme.

«Siden kostnaden ligger i å lese tilstanden og konsumere input-tokens, er output-tokens i praksis gratis.» — Bloggposten om beslutningsmodellenes økonomi, pncnmnp.github.io

Forfatteren foreslår et «beslutningshierarki» der hvert nivå svarer på det det er sikkert på og sender resten nedover. Baseten anbefaler det samme oppsettet: joey-1 i første linje, elephant-1 eller mammoth-1 når joey-1 er usikker. Alle tre deler API, så byttet er én linje.

På Basetens Model APIs har modellen et kontekstvindu på 16 000 tokens og null datalagring som standard. Dedikerte deployments gir 262 000 tokens. Vil du kjøre selv, installerer setup.sh i repoet en pinnet serving-runtime som krever ett CUDA-GPU og Docker-imaget pytorch/pytorch:2.8.0-cuda12.8-cudnn9-devel. Forespørsler som er lengre enn treningsgrensen blir avvist, ikke kuttet.

Hva bør du gjøre?

1. Hent vektene med hf download baselabs/joey-1 --local-dir joey-1 og kjør bash joey-1/setup.sh på en maskin med CUDA-GPU, og test eksempelet fra modellkortet med noul-, choice- og score-spørsmål.
2. Kjør dine egne merkede data gjennom både joey-1 og den modellen du bruker i dag, og sett en terskel på sannsynligheten der usikre svar sendes videre til en større modell.
3. Mål latensen på egen maskinvare før du lover 20 ms, siden tallet gjelder Basetens hostede API.