Manifest la ned LLM-ruteren sin: cache slår ruting på pris

Mens resten av bransjen lanserer LLM-rutere på løpende bånd, har Manifest gjort det motsatte. Selskapet lanserte sin egen ruter i mars som en nøkkelfunksjon i LLM-gatewayen sin, avviklet den i juni, og slår den av for godt 1. september.

«Vi tror ikke på modellruting lenger. For de fleste bruksmønstre er det beste du kan gjøre å holde deg til én utprøvd modell» — Manifest, i blogginnlegget om avviklingen

Ruteren gjorde det de fleste slike gjør: klassifiserte hver forespørsel i én av fire kompleksitetsklasser (simple, standard, complex og reasoning) og sendte den videre til den rimeligste modellen som var god nok. Etter fire måneder og 7000 skybrukere satt Manifest igjen med blandede resultater og en jevn strøm av GitHub-issues.

Hovedinnvendingen er at kompleksitet ikke lar seg lese ut av prompten. Prompten er bare utløseren, skriver Manifest, mens konteksten som avgjør hvor tung oppgaven faktisk er dukker opp senere gjennom verktøykall og søk. Eksempelet deres er presist: «evaluer testene for repoet $GIT_REPO og forbedre dem» er en triviell oppgave mot en personlig nettside i ren HTML5, og en enorm oppgave mot Linux-kjernen. Ruteren ser nøyaktig samme setning i begge tilfeller.

Så kommer økonomien, og der blir ruter-argumentet svakest. Cache-lesninger koster mellom 75 og 90 prosent mindre enn ucachede input, og systemprompter og samtalehistorikk ligger først i prompten, akkurat der prefiks-cachen virker best. En cache-bevisst ruter må derfor bli klebrig og fortsette å spørre modellen den valgte først. Den gjør altså jobben sin ved å la være å gjøre den.

De to siste innvendingene handler om forutsigbarhet. Manifest avviser tanken om at utviklere ikke bør bry seg om hvilken modell som svarer, og sammenligner med en maler som vet nøyaktig hvilken pensel han trenger. Å hoppe mellom modeller midt i en arbeidsøkt senker kvaliteten på helheten og løsner båndet mellom utvikleren og verktøyet. I automatiserte agent-flyter koster et ekstra lag med usikkerhet mer enn det sparer: evals, systemprompter og observability blir alle vanskeligere å vedlikeholde når du ikke vet hvem som svarte.

Manifest tar forbehold om at ruting kan gi mening i bruksmønstre de ikke selv har sett, og skriver at selskapene som har lansert slike produkter trolig har gode grunner. Poenget for deg som bygger er likevel målbart. Før du legger inn et rutingslag for å kutte inferens-kostnader, mål hva prefiks-cachen alene gjør med regningen din. Manifests erfaring er at beløpet du sparer på ruting blir betalt et annet sted, i en post som er langt vanskeligere å estimere på forhånd.