Sarvam Prism: åpen beslutningsmodell svarer på 44 ms, men krever 120 GB GPU-minne

44 millisekunder er medianen Sarvam AI oppgir for Prism på én Nvidia B200, men modellkortet på Hugging Face viser at 95-persentilen ligger på 420 ms. Prism er en LoRA-finjustering av Sarvam 105B som tar en tilstand, et spørsmål og et sett svaralternativer, og returnerer én sannsynlighet per alternativ i ett forward pass, uten å generere tokens. Den havner dermed i samme kategori som TypeSafes Jev og Clef.

Sarvam kjørte selv 25 beslutningsmodeller gjennom tre indekser: Jev Decision Index (37 offentlige benchmarks), en egen gjenskaping av Artificial Analysis' Decision Index og en intern test på indiske språk. Prism får 71,8 i snitt, bak mammoth-1 (75,2 på 284 ms) og GLiDE 1.2 (73,2 på 116 ms), men høyest av modellene under 100 ms. Mye av forspranget kommer fra indiske språk (82,5). På Jev-indeksen alene (67,0) ligger den bak blant andre StartLux-27B (72,9) og OneJev-27B (69,6).

For agentbyggere er trace-evalueringen mest interessant. På 700 innspilte agentkjøringer traff Prism 78,5 % mot 70,7 % for Claude Haiku 5.5, og Sarvam oppgir rundt et halvt sekund per kjøring mot Haikus median på 2,5 sekunder. Kontekstvinduet er 131 072 tokens per spørsmål, så lange traces slipper å deles opp.

Terskelen for å kjøre den selv er høy: rundt 106 GB disk, en GPU med FP8-støtte og omtrent 120 GB ledig minne, pluss Python 3.10 og en C-kompilator for Triton-kjernene.

«Vektene er lagret i et eget FP8-format for denne koden, så de kan ikke lastes med AutoModelForCausalLM eller serveres av generelle inferensservere.» — Sarvam AI, modellkortet på Hugging Face

Hva bør du gjøre?

1. Test Sarvams hostede API først hvis du ikke har tilgang til en B200 eller H200.
2. Mål 95-persentilen mot din egen trafikk før du setter Prism foran en agent, ikke bare medianen.
3. Kjør et utvalg av dine egne produksjonseksempler gjennom modellen, siden alle tallene i lanseringen er målt av Sarvam selv.