0,0 til 1,0. Det er skalaen Wayfinder Router gir hver prompt før den avgjør om spørringen skal til den lille lokale modellen din eller den dyre sky-modellen. Verktøyet, publisert som open source på GitHub, tar avgjørelsen uten et eneste modellkall: ingen API-nøkkel, ingen nettverkstrafikk, ingen ventetid. Scoren beregnes ut fra promptens struktur, altså lengde, overskrifter, lister og kode, og beslutningen faller på under ett millisekund.
Poenget er økonomisk. De fleste rutere avgjør ruten ved å kalle en modell, enten en trent klassifikator, en LLM-dommer eller et hosted API. Det legger latens, kostnad og tilfeldighet til akkurat det steget som skulle spare deg penger. Wayfinder leser struktur og ordbruk i stedet, så beslutningen er gratis og lik hver gang. «Oppsummer dette» og «rett skrivefeilen min» blir liggende lokalt, mens de tunge oppgavene går til toppmodellen.
Wayfinder er en OpenAI-kompatibel gateway. Du peker klienten din på én ny base_url, og appen fortsetter å snakke OpenAI-API som før. Hver respons bærer to headere, x-wayfinder-router-model og x-wayfinder-router-score, så du ser hvor den rutet og hvorfor. Standardterskelen er 0,5: under går lokalt, på eller over går til skyen. Det fungerer med Ollama, vLLM, LM Studio og llama.cpp lokalt, og OpenAI, Anthropic, Groq og andre i skyen.
Utvikleren er uvanlig ærlig om grensene. De leksikalske signalene (bevis, matte, harde begrensninger) er slått av som standard fordi en dobbeltblind test viste at gevinsten ikke generaliserer: den fanget bare rundt 20 prosent av ukjente vanskelige prompter og tapte mot en enkel ordtellings-baseline. På RouterBench sine korte-men-vanskelige oppgaver er ruteren ikke bedre enn tilfeldig. En prompt der vanskeligheten er rent semantisk, som «hva er det 100. primtallet?», har ingen strukturell avslører, og en semantisk ruter vil slå Wayfinder der.
Hva bør du gjøre?
- Prøv rutingen uten å installere noe:
uvx wayfinder-router chat --dry-rungir deg avgjørelsen i terminalen uten nøkler eller modeller. - Vil du sette den i produksjon, kjør
pip install "wayfinder-router[gateway]", scaffold en config medwayfinder-router init, og pek klienten på gatewayen medmodel="auto". - Kalibrer terskelen på din egen trafikk. Standard 0,5 passer ikke alle, og du kan flytte snittet per kall med en
X-Wayfinder-Threshold-header.