68 prosent. Så mye av den hentede konteksten kaster Kapa.ai nå bort før den dyre generatormodellen får se den, ifølge et teknisk innlegg fra ingeniør Lars Baltensperger. Selskapet bygger KI-assistenter som svarer på spørsmål over store kunnskapsbaser, og la inn et nytt mellomtrinn i RAG-pipelinen: en liten, rask språkmodell leser spørsmålet og alle de hentede bitene under ett, og luker ut det svaret ikke trenger før den store modellen får regningen.
Kostnaden de fjerner betaler de fleste RAG-oppsett i stillhet. En retriever er en trakt: søk snevrer hundretusener av biter ned til noen hundre, en reranker sorterer dem, og de øverste rundt 15 går videre til generatoren, den største og dyreste modellen i kjeden. Men generatoren faktureres for hver bit den ignorerer. Hos Kapa utgjør hentede biter rundt to tredeler av kostnaden per spørring, mer enn selve svaret, samtalehistorikken og systemprompten til sammen, og hver bit mindre kutter spørringskostnaden med rundt 4 prosent.
«Generatoren betaler for hver eneste bit den ignorerer.» — Lars Baltensperger, Kapa.ai
Den åpenbare løsningen, å sette en fast terskel på rerank-scoren og droppe alt under, fungerer ikke. En rerank-score er en rangering, ikke en måling, og er ikke kalibrert på tvers av spørringer, noe også Cohere erkjenner. Verre: relevans er ikke en egenskap ved én enkelt bit. To biter kan hver for seg se ut som støy, men til sammen utgjøre svaret. Kapa prøvde også «anchor documents» fra Sinhababu og kolleger, men landet på at det som skal beskjæres må se spørsmålet og alle bitene samtidig, fordi det er settet som vurderes, ikke bitene enkeltvis.
Løsningen ble ett listewise LLM-kall mellom reranker og generator. Modellen får spørsmålet og alle bitene, og gir hver bit en karakter på en femtrinns skala fra «essensiell» til «urelatert», definert i ord i prompten. Fordi hvert nivå er beskrevet i klartekst, betyr en firer det samme på hver spørring, så en fast terskel virker endelig. For deg som bygger RAG over et stort dokumentkorpus er dette en billig knapp å skru på: et lite, raskt modelltrinn på lav resonneringsinnsats betaler for seg selv i sparte generator-tokens, og etterlater mindre kontekst som kan råtne i en langkjørende agent.