100 prosent treff på lang-kontekst-ekstraksjon med en 7B-modell på en gratis toskjerners ARM-boks. Det tallet oppgir utviklerne bak Reame i repoet sitt, og det bærer hele premisset: en inferensserver bygget på llama.cpp som behandler billig CPU-maskinvare som førstevalg i stedet for nødløsning.
«På en CPU: aldri regn ut det samme to ganger.» — Reame-repoet
Tre mekanismer skal innfri påstanden. Prompt-prefikser snapshottes til disk, zstd-komprimert og sjekksummet med LRU-budsjett, og gjenbrukes på tvers av ulike prompts, omstarter og prosesser, slik at en systemprompt betales for én gang. «Palimpsest» mater hver fullførte generering inn i et n-gram-arkiv på disk, som framtidige forespørsler så drafter fra gratis. Spekulativ dekoding regulerer seg selv: serveren måler om spekulering faktisk lønner seg på din maskinvare, og slår det av når det ikke gjør det.
Repoet er uvanlig eksplisitt på hva serveren ikke er. Den er ingen erstatning for ChatGPT, ikke for agentiske kodeassistenter, og ikke for lang kreativ tekst. Målgruppen er smale, repetitive oppgaver over dine egne data, der svaret ligger i konteksten du selv gir: dokumentekstraksjon, klassifisering, batch-pipelines, privat kodekomplettering. API-et er OpenAI-kompatibelt, så eksisterende klienter kan peke rett på det.
Alle tallene er utviklernes egne, målt med deres binærfil på maskinvaren de navngir. Repoet oppgir 210 isolerte testtilfeller og publiserer også negative resultater, men noen uavhengig benchmark finnes ikke.
Hva bør du gjøre?
- Vurder Reame hvis du kjører repetitive LLM-oppgaver på en VPS du allerede betaler for. Gevinsten ligger i gjenbruk, ikke i rå hastighet.
- Sjekk om prompt-ene dine deler prefiks. Disk-cachen betaler seg først når de gjør det.
- Mål på din egen maskinvare med
reame runfør du bytter ut noe, siden tallene i repoet ikke er uavhengig etterprøvd.