Agent-prompter på 35 kB kvalte lokal Ollama på tre minutter

«En briefing for en mann som gjenfødes hvert nittiende sekund.» Slik beskriver Patrick McCanna det å gi en lokal modell de samme forhåndspromptene som fungerte feilfritt mot Anthropic og OpenAI. I et blogginnlegg deler han notatene fra første forsøk på å flytte sine mest kontekstkrevende agenter over på egen maskin: en AMD Ryzen AI MAX+ 395 med 128 GB minne, der 32 GB er satt av til operativsystemet og resten går til inferens.

Problemet var ikke at den lokale modellen er mindre, skriver McCanna, men kontekstvinduet. Oppsettet hans rommer maksimalt 65 000 tokens, og en prompt på 35 kB spiser 14 prosent av det før agenten har gjort noe som helst. Innen tre minutter begynte agentene å gå i ring: de gjentok verktøykall, leste filer de allerede hadde lest og skrev om arbeid som var ferdig.

Motivasjonen er todelt. McCanna vil holde agent-sesjonene sine unna leverandørenes servere, og han vil slippe sikkerhetsfiltrene som får de store modellene til å nekte sårbarhetstesting. Han tester derfor abliterated open weight-modeller på 27 milliarder parametere. Samtidig peker han på at de store kontekstvinduene har skjult hvor dårlige promptene egentlig var:

«Med stor kontekst og chain of thought gir selv dårlige prompter gode resultater.» — Patrick McCanna

Grepet hans kaller han Single Objective Prompting: ett problem og én løsning per prompt. I opencode betyr det deklarative agenter i ~/.config/opencode/agents i stedet for Claude Code-skript som leser filer som forhåndsprompt, pluss et bevisst forhold til opencodes tillatelser. Agentene bør logge tilstand til disk slik at de kan overlate arbeidet oftere, lese bare den biten de trenger og bruke færre verktøykall per steg. «Ikke gjør X» byttes ut med positive direktiver som «gjør bare Y».

McCanna lister også fem signaler på at konteksten er brukt opp: identiske verktøykall rett etter hverandre, flere lesinger av samme fil, agenter som gjentar sitt eget mål, feil ved parsing av verktøykall og mange runder i forhold til antall endrede filer.

I Hacker News-tråden om innlegget mener flere at han undervurderer selve promptproblemet, uavhengig av hvor modellen kjører:

«Hvis prompten din er 35 kB, er den forvirrende og ufokusert, og den fungerer ikke skikkelig på noen LLM.» — DiabloD3 på Hacker News

Hva bør du gjøre?

1. Mål hvor stor andel av kontekstvinduet systemprompten tar før du flytter en agent lokalt, og del den opp i ett mål per agent hvis andelen er høy.
2. Sett kontekstlengden eksplisitt i Ollama, siden standardverdiene ifølge McCanna er svært små, og sjekk med ollama ps at modellen ikke er avlastet til CPU.
3. Overvåk agent-loggene for McCannas signaler, særlig identiske verktøykall på rad og gjentatte lesinger av samme fil.