Ollama 0.33-rc1 kobler Claude Desktop til lokale modeller

Ollama la ut v0.33.0-rc1 den 21. august. Den mest synlige endringen ligger i macOS-appen: du velger nå hvilke Ollama-modeller Claude Desktop skal se, og skrur integrasjonen av og på fra menylinjen. Skymodeller dukker bare opp når du er innlogget, og appen tilbyr å installere Claude hvis den mangler.

Arbeidet ligger i tre sammenkoblede endringer. «app: add claude desktop app» ble flettet inn 20. august og rørte 16 filer med over 4 200 nye linjer. «app: claude model management» kom dagen etter og rørte 33 filer. En tredje endring gir Ollama en egen Apps-side der du kobler Claude Desktop til og fra, med bekreftelse når en omstart kreves. Slår du integrasjonen av eller avslutter Ollama, settes Claude tilbake slik den var.

Den andre endringen som betyr noe for agentbyggere handler om MLX-motoren.

«Agent-klienter avbryter rutinemessig lange prefills. Tidsavbruddene deres er kortere enn de minuttene en prompt på 40 000 tokens tar.» - beskrivelsen av PR 17901 i ollama/ollama

Før fiksen kastet en avbrutt forespørsel alt den hadde regnet ut, så neste forsøk startet på null og rakk aldri å bli ferdig innen klienten ga opp igjen. Utad så det ut som at modellen hang. Enda mer kostbart: gjenopprettingspunktene dekket ikke alltid det de påsto, og en forespørsel som traff 46 000 av 47 000 tokens i cachen kunne likevel bli regnet ut fra bunnen. Nå beholder en avbrutt prefill alle gjenopprettingspunktene den passerte, slik at neste forsøk fortsetter der det stoppet.

Hva bør du gjøre?

1. Behold 0.32.15 i produksjon. Dette er en release candidate, og Claude-integrasjonen er macOS-bare foreløpig.
2. Kjører du MLX på Mac med prompter over 40 000 tokens: mål tid til første token på et avbrutt og gjenopptatt kall før og etter oppgraderingen. Det er der gevinsten ligger.
3. Test Claude Desktop-koblingen på en modell du ikke bryr deg om først, siden appen endrer Claudes eget oppsett når den kobler seg på.