Ollama 0.34.0-rc3 lar deg bruke åpne modeller i ChatGPT Desktop

Å bytte fra en skymodell til en åpen modell har som regel betydd å bytte klient også. I Ollama 0.34.0 kan Ollama-modeller brukes direkte i ChatGPT Desktop, slik at arbeidsflyten din blir stående mens modellen under byttes ut. Oppsettet gjøres fra Ollama-appen, og releasenotatet oppgir macOS som eneste plattform for det.

Resten av utgivelsen er mindre iøynefallende, men mer relevant hvis du allerede kjører Ollama i en agent-løkke. Ytelsen for structured output er forbedret på Apple Silicon, altså på M-seriens brikker der mange kjører lokale modeller til daglig. Ollama har også lagt til støtte for tool search og komprimering av svar for OpenAI-kompatible klienter, og bilder fungerer nå riktig gjennom komprimerte svar. Komprimering er mekanismen som kutter ned lange samtalehistorikker, og at bilder overlever den behandlingen er en forutsetning for multimodale agenter som kjører over tid.

Forbeholdet er viktig: dette er ikke en stabil utgivelse. Taggen er v0.34.0-rc3, GitHub merker den som pre-release, og endringsloggen sammenlikner mot 0.33.3, som fortsatt er siste stabile versjon. Både oppsettet mot ChatGPT Desktop og den nye API-oppførselen kan endre seg før 0.34.0 lander for godt.

Hva bør du gjøre?

1. Hold produksjonen på 0.33.3. Kjør rc3 på en maskin du kan rulle tilbake, og la agentene dine peke på den stabile versjonen inntil videre.
2. Mål structured output på Apple Silicon selv. Kjører du JSON-skjema mot en lokal modell på M-serien, ta latenstall før og etter oppgraderingen i stedet for å stole på formuleringen i releasenotatet.
3. Verifiser bildeflyten i lange samtaler. Har du en multimodal agent som treffer komprimering, sjekk at bildene fortsatt følger med etter at svaret er komprimert.