LLM-tillegg gir hele modellsamlingen din et OpenAI-kompatibelt endepunkt

Én kommando, llm chat-completions-server -p 9001, åpner et endepunkt på localhost som snakker samme protokoll som OpenAI. Bak det ligger hele modellsamlingen din: alt du har installert gjennom LLM-tillegg, enten det er Claude, Gemini, Qwen eller en lokal modell. Simon Willison la ut tillegget 30. juli i versjon 0.1a0, og forteller at GPT-5.6 Sol skrev hele greia, fordi modellen kjenner formen på OpenAI-APIet svært godt.

Poenget er ikke serveren i seg selv, men skjemaendringen den demonstrerer. Chat Completions er tilstandsløst: klienten holder samtalen, og sender hele historikken på nytt for hver melding. Tre replikker inn betyr at de to første er sendt to ganger, og lenger ut i en agentkjøring vokser det fort. LLM 0.32rc1 innførte innholdsadresserte hash-IDer for lagrede meldinger, der hver meldingsdel identifiseres av hashen sin, og loggen lagrer den bare én gang uansett hvor mange forespørsler den dukker opp i. Bieffekten er at basen nå kan representere trær av meldinger, altså samtaler som forgrener seg.

For deg som bygger betyr et lokalt OpenAI-kompatibelt endepunkt at verktøy uten støtte for andre leverandører likevel kan nå modellene dine. Chat-grensesnitt, agent-rammeverk og SDK-er som bare kan peke på en base-URL får plutselig tilgang til alt LLM har tillegg for, uten at du skriver en eneste adapter. Prisen er at både serveren og skjemaet er ferske: 0.1a0 er en alfa, og 0.32rc1 er en release candidate.

Hva bør du gjøre?

1. Installer forhåndsversjonen med uv tool install llm --pre og legg til tillegget med llm install llm-chat-completions-server.
2. Ta backup av loggene før du oppgraderer. Willison anbefaler llm logs backup logs-backup.db, siden 0.32rc1 legger til nye tabeller i basen.
3. Bind serveren til localhost og la den bli der. Endepunktet krever ingen nøkkel og gir alle som når porten tilgang til de betalte API-nøklene dine.