Samme modell på OpenRouter kan sprike 20 poeng på verktøykall

Førstepartsleverandøren DeepSeek scorer 90 prosent på GPQA Diamond og 81 prosent på TAU-Bench Airline for modellen DeepSeek V4 Flash 0731. DigitalOcean, som serverer nøyaktig de samme vektene, lander på 75 og 58 prosent. Tallene er OpenRouters egne per leverandør, og i juli var spriket enda større: Fireworks lå på 46 prosent på TAU, tretti poeng under førsteparten.

Mo Moustafa står bak Olly, en KI-assistent som bor i iMessage og har håndtert over 18 millioner meldinger, rundt en tredjedel av dem på åpne modeller via OpenRouter. Poenget hans er at modellen er vektene, mens leverandøren er den som kjører dem på sine GPUer, med sin presisjon, sine optimaliseringer og sine egne parsere for verktøykall. Ber du om deepseek/deepseek-v4-flash, får du én av rundt tjue selskaper du neppe har hørt om.

Konsekvensene er ikke bare poeng på en tavle. Moustafa kjørte tre små testbilder gjennom hver leverandør av to åpne vision-modeller: DeepInfra leste en K som en R og kalte rødt for blått, mens Venice og Together ikke så MiniMax-bildene i det hele tatt. Modellsiden oppgir at modellen støtter bildeinput. Leverandøren svarer 200 OK uansett.

«En 200-kode forteller deg at forespørselen ble servert, ikke at det ligger et svar i den» — Mo Moustafa

Samme mønster går igjen andre steder. Resonneringsmodeller legger av og til alt i reasoning-feltet og returnerer content null med finish_reason stop. StreamLake sto i juli for rundt 20 prosent av trafikken hans og 92 prosent av de tomme svarene.

Hva bør du gjøre?

1. Pin leverandør med provider.only, og hent listen over tilgjengelige leverandører for modell-IDen din fra /endpoints-metoden.
2. Regn med at pinning ikke er nok alene. Moustafa hadde tre pålitelige leverandører i provider.order med allow_fallbacks satt til false, og mistet likevel all trafikk da Cloudflare sluttet å servere modellen og de to andre begynte å svare 429.
3. Behandle 200 uten innhold og uten verktøykall som en feil du kaster og prøver på nytt, og kjør benchmarkene fra produksjonsmiljøet. Venice og Novita svarte normalt fra Moustafas Mac og returnerte 429 fra infrastrukturen hans.