MemTensor slipper Metis: minnet ligger i transformer-laget, ikke i en base

Hva skjer med agentminnet ditt når det flyttes inn i modellen selv? MemTensor la fram Metis som forskningsartikkel på arXiv 29. juli, og tre kontrollpunkter ligger nå ute på Hugging Face: 5,0, 9,2 og 28 milliarder parametere, alle bygget på Qwen3.5. Artikkelen har 17 forfattere fra MemTensor og fire universiteter, og nettstedet RuntimeWire meldte utgivelsen.

En Metis-blokk settes inn i transformer-lagene og har to deler. En lokal minneblokk holder en dynamisk matrise på tvers av interaksjonssteg, mens en hyper-minneblokk velger ut informasjon fra skjulte tilstander, oppdaterer matrisen og senere leser fra den gjennom en egen minne-attention. Vektene står frosne under inferens, og minnet endres bare gjennom vanlig forlengs-passering, uten gradienter.

Praktisk betyr det at du kan gi modellen informasjon i én interaksjon, feste den i minnetilstanden og spørre om den senere uten å sende teksten på nytt. Tilstanden har fast størrelse, så kostnaden ved et oppslag vokser ikke med lengden på historikken.

«Minne er i ferd med å bli den nye infrastrukturen i agent-æraen.» — Xiong Feiyu, grunnlegger av MemTensor, til 36Kr

Forbeholdene står i utgivelsen selv. Repoet kaller dette en forskningsforhåndsvisning: arkitektur, inferens-eksempler, treningsoppsett og offisielle vekter er med, treningsdataene er ikke. Koden ligger under PolyForm Noncommercial 1.0.0, som forbyr kommersiell bruk uten egen avtale. Forfatterne skriver selv at en tilstand med fast størrelse taper informasjon når oppgavene blir lange, at flere opplysninger kan blande seg i det latente minnerommet, og at full tilgang til kildeteksten fortsatt er sterkest på flere av minneoperasjonene.

Hva bør du gjøre?

1. Test Metis-4B på 5,0 milliarder parametere først. Repoet kjører flerturs inferens med --commit_mode exchange, som fester både spørsmålet og svaret i minnetilstanden.
2. Les lisensen før du planlegger noe kommersielt. PolyForm Noncommercial dekker koden, og vektene og datasettene er regulert i egne vilkår.
3. Behold henteløsningen din. MemTensor holder hybride oppsett i veikartet, for tilfellene der du trenger eksakte poster eller sporbar kildetekst.