Mem0-proxy gir den lokale modellen din varig hukommelse på Fedora

Selv med 256 000 tokens kontekstvindu kan du ikke dumpe hele samtalehistorikken inn i hver prompt. Den fyller VRAM og senker inferensen. Det er utgangspunktet for en gjennomgang på LeadPrompt, der forfatteren beskriver et minnelag som kjører uten en eneste skytjeneste på en Framework mini-PC med Fedora 44 og Podman.

Oppsettet har tre deler. Qdrant kjøres som container med host-nettverk og lagrer vektorene på disk, Ollama serverer nomic-embed-text for 768-dimensjons embeddinger og qwen3-coder-next i q4_K_M som chat-modell, og en egen proxy på port 11435 gjør jobben i midten. Når du sender en melding, søker proxyen i Qdrant etter relevante fakta, limer dem inn i systemprompten og sender forespørselen videre til Ollama. Uttrekket av nye fakta går som bakgrunnsoppgave, så det legger ingen ventetid til svaret.

Maskinen er en Ryzen AI Max+ 395 med 128 GB minne, hvorav 118 GB er allokert til VRAM, og all inferens går på den integrerte AMD-GPU-en. Forfatteren oppgir 40 til 50 GB VRAM-bruk og GPU-en pinnet på 100 prosent når qwen3-coder-next kjøres. Proxyen daemoniseres med en systemd-brukertjeneste, ikke en terminalfane.

Poenget med å legge minnet i proxyen framfor i Open WebUI er at hukommelsen følger API-et, ikke grensesnittet: alt som snakker OpenAI-kompatibelt mot port 11435 arver den. Prisen er et nytt ledd som må stå oppe, og at Mem0 bruker den samme kvantiserte chat-modellen til å trekke ut fakta, så det som havner i basen er like presist som modellen som skrev det.

Hva bør du gjøre?

1. Sett opp Qdrant og de to Ollama-modellene først, og bekreft at embeddingene faktisk gir 768 dimensjoner før du kobler til proxyen.
2. Pek Open WebUI mot proxyen i stedet for mot Ollama direkte, slik at all trafikk går gjennom minnelaget.
3. Les gjennom hva som ligger i Qdrant etter noen samtaler, siden bakgrunnsuttrekket lagrer uten at du ser det.