LLM 0.32 viser resonneringsspor og kjører serverside-verktøy

«Jeg antar at LLM er et agent-rammeverk nå» — Simon Willison, utvikler av LLM

Willison beskriver 0.32, som han slapp 4. august, som den mest omfattende utgaven siden prosjektet startet. Pulsen har tidligere dekket alfaversjonen 0.32a3; dette er den ferdige utgaven, og den flytter verktøyet et godt stykke bort fra å bare være en tynn CLI over modell-APIer.

Kjører du en resonneringsmodell, skrives tankerekka nå til standard error mens svaret går til standard out. Det betyr at du kan pipe resultatet videre uten å dra med deg resonneringen, og slå den av med -R. Standardmodellen for llm "prompt" er byttet til GPT-5.6 Luna.

Serverside-verktøy er den andre store endringen. I stedet for at LLM kjører verktøyet lokalt, ber den leverandøren gjøre det: llm --tool CodeInterpreter kjører kode hos OpenAI, og llm-anthropic-tillegget gir WebSearch, WebFetch, CodeExecution og AnthropicMCP. Det siste lar Anthropic snakke direkte med en MCP-server du peker på, som del av samme forespørsel.

Python-API-et har fått to nye former. model.prompt(messages=[]) lar deg sende hele meldingshistorikken selv i stedet for å bygge en samtale melding for melding, og stream_events() gir typede hendelser for resonnering, tekst, verktøykall og vedlegg i stedet for en strøm av strenger. Kombinasjonen gjorde det mulig å implementere OpenAIs chat completions-API som et eget tillegg, llm-chat-completions-server, som du kan kjøre lokalt på en port.

Å sende hele historikken hver gang ville normalt sprengt loggen med duplisert JSON. Løsningen er et innholdsadressert meldingslager modellert etter Git, der llm logs konverterer formatet tilbake til noe lesbart. Eksisterende tillegg fortsetter å virke, men tillegg som leverer modeller må oppgraderes til 0.32 for å delta i hendelsesstrømmen.

Hva bør du gjøre?

1. Oppgrader og test llm openai endpoint mot en lokal modellserver. Kommandoen kjører engangsprompter mot alt som snakker OpenAI-dialekt, uten logging, som uvx llm openai endpoint http://localhost:1234/v1.
2. Sjekk tilleggene dine før du oppgraderer i noe du er avhengig av. llm-gemini, llm-openrouter og llm-mistral var ifølge Willison ikke ute med kompatible versjoner da 0.32 kom.
3. Bytt fra lokale til serverside-verktøy der latens betyr noe, men husk at koden da kjøres hos leverandøren.