Miser slår OpenRouter Auto med 16 prosentpoeng på 100 kodeoppgaver

«Resultatet er retningsgivende snarere enn konklusivt» — Misers egen dokumentasjon på GitHub

Forbeholdet gjelder prosjektets egne kvalitetsmålinger og står i README-en til Miser, en KI-gateway skrevet i Rust som utvikleren bak GitHub-kontoen rShetty la ut under MIT-lisens 9. august. Gatewayen tar imot OpenAI-kompatible forespørsler på port 8787, plasserer hver av dem i en kompleksitetsklasse, og sender den videre til den billigste modellen i OpenRouter som skal klare oppgaven. Klassifiseringen kjører enten som rene regler lokalt, mot en lokal modell, mot en skymodell, eller som en hybrid der reglene får svare først og modellkallet bare brukes på tvetydige forespørsler.

Tallene som gjør prosjektet interessant, kommer fra utviklerens eget testsett på 100 programmeringsoppgaver, med GLM 5.2 som dommer. Miser Auto består kvalitetsterskelen i 64 prosent av tilfellene, OpenRouter Auto i 48. I samme tabell ligger GPT-4.1-mini alene på 80 prosent, altså uten ruting i det hele tatt. Rutingen slår konkurrenten den er bygget for å slå, og taper mot det enkleste alternativet: å peke klienten mot én billig modell og bli der.

Det praktiske argumentet ligger et annet sted. Miser er én binærfil uten Redis eller vektordatabase, og semantisk cache kjører in-process med TF-IDF og cosinuslikhet. Prosjektet måler egen gateway-overhead til under ett millisekund, mot 100 til 150 for OpenRouter Auto, som ifølge samme tabell også tar 5,5 prosent på kredittkjøp. Kjører du tusen kall gjennom en agent i stedet for ett, samler den forskjellen seg opp.

Vær klar over hvor tidlig dette er. Repoet ble opprettet 9. august, har ingen release-tagger og to stjerner, og alle tallene er selvrapporterte. Siste commit 14. august legger til ruting som tar hensyn til agent-økter.

Hva bør du gjøre?

1. Kjør cargo run -p miser-evals mot ditt eget korpus før du stoler på klassifiseringstallene, siden treffsikkerheten faller til 50 prosent på enkle og 10 på trivielle oppgaver.
2. Mål mot baselinen som vant i utviklerens egen tabell: én fast billig modell, uten gateway foran.
3. Velg heuristic som classifier.mode i config/miser.toml hvis latens betyr noe, siden hybridmodus legger på et modellkall når reglene er usikre.