Ilter er en selvhostet KI-gateway med budsjettak og PII-filter

Ni leverandører, ett endepunkt, null eksterne avhengigheter. Ilter er en åpen KI-gateway som legger seg mellom applikasjonen din og modellleverandørene, og den kommer som én statisk kjørbar fil. Du laster ned binæren, kjører ./ilter serve, og har proxy på port 8181, dashbord på 9191 og Prometheus-metrikker på 9192. Ingen Node.js, ingen Python, ingen database å sette opp først.

Gateway-sjiktet er ikke nytt i seg selv. LiteLLM, Portkey og OpenRouter gjør mye av det samme, men de fleste forutsetter enten en skytjeneste eller et kjøremiljø du må vedlikeholde. Ilter satser på det motsatte: alt kjører hos deg, og hele installasjonen er én fil du kan legge på en VPS eller en maskin i stua.

«Hvert forespørsel scores for kompleksitet i sanntid og rutes til riktig modellnivå.» — Ilter-prosjektets egen dokumentasjon

Funksjonslista er lang for et prosjekt på denne størrelsen. Smart Router gir hver forespørsel en heuristisk kompleksitetsscore fra 0 til 100 basert på ordtelling, resonneringsfraser, kodeblokker og verktøykall, og velger deretter mellom economy, standard og premium. Budsjettkontrollen er et hardt drapsbryter: setter du en daglig eller månedlig grense i dollar per API-nøkkel, svarer gatewayen 429 med budget_exceeded i det grensa brytes. PII-vakta maskerer e-post, telefonnumre, fødselsnumre og kredittkort (Luhn-validert) før forespørselen går ut, og har en reversibel modus som setter verdiene tilbake i svaret.

For agent-bygging er to ting mer interessante enn resten. MCP-gatewayen injiserer verktøy fra registrerte MCP-servere inn i hver chat completion-forespørsel, fanger opp tool_call, kjører verktøyet lokalt over stdio eller SSE og gir resultatet tilbake til modellen. Klienten din trenger ingen endringer. Loop-detektoren stopper agenter som går i sirkel, målt på rate, fingeravtrykk, kostnad eller dybde, før de spiser opp budsjettet.

Bakgrunn

Alle ytelsestallene i prosjektet er selvrapporterte. Dokumentasjonen oppgir under 0,03 millisekunder for kompleksitetsscoringen og under 0,04 millisekunder ekstra latens for PII-motoren, som bygger på en kombinasjon av bloomfilter, Aho-Corasick-trie og regulære uttrykk. Det finnes ingen uavhengige målinger av dette ennå, og PII-deteksjonen er trent på engelske og tyrkiske navnemønstre. Norske navn og personnumre er en annen sak enn tyrkiske TCKN-numre, selv om formatlengden ligner.

Hva bør du gjøre?

1. Kjør binæren mot en testnøkkel med lav budsjettgrense først, og verifiser at 429-svaret faktisk kommer der du forventer. Et budsjettak som ikke utløses, er verre enn ingen grense.
2. Test PII-maskeringen på norske data før du stoler på den i produksjon. Send inn et fødselsnummer og et norsk navn, og se hva som faktisk går ut på nettverket.
3. Vurder semantisk cache bare hvis du allerede kjører Redis Stack. Uten embedding-modell faller cachen tilbake til SHA-256 eksakt treff, som gir langt færre treff enn vektorsøket.