llm 0.33 bytter ut httpx og lar deg kombinere flere maler

Der llm 0.32.1 var en rask lapp dagen i forveien, er 0.33 den grundige varianten. Kommandolinjeverktøyet er oppgradert til OpenAI sitt Python-bibliotek 3.x, og HTTP-klienten er byttet fra httpx til httpx2. Simon Willison, som lager llm, beskriver selv 0.32.1 som en kjapp fiks og denne utgivelsen som den mer omfattende. Versjonen kom 22. august.

Endringen som treffer arbeidsflyten mest er at flagget -t og --template kan gjentas. Malene kombineres i den rekkefølgen du oppgir dem, slik at modellkonfigurasjon og opsjoner fra én mal kan brukes med prompten fra en annen. Willison viser mønsteret det låser opp: lagre en mal som pakker en modell sammen med et sett standardopsjoner, lagre prompten som en egen mal, og kjør de to sammen.

Embedding-modellene har fått samme nøkkelhåndtering som de vanlige modellene. llm embed og llm embed-multi tar nå --key, og Python-metodene embed() og embed_multi() på både EmbeddingModel og Collection tar key=. Nøkkelen sendes videre per kall uten å endre delt tilstand på modellen, og eksisterende plugins som leser self.key virker fortsatt gjennom et kompatibilitetsfall. Bidraget kom fra ChrisJr404.

Modeller med resonnering bak Responses API-et støtter nå opsjonen reasoning_summary, med verdiene auto, concise og detailed. Den brukes sammen med llm openai endpoint --responses, og Willison peker på at den er nyttig når du tester modeller som tilbyr sin egen etterligning av OpenAIs Responses API.

Hva bør du gjøre?

1. Oppgrader hvis du hoppet over 0.32.1. Denne utgaven retter httpx-bruddet i bunnen i stedet for symptomet.
2. Lag en modellmal med opsjonene du alltid setter, og kombiner den med prompt-maler i stedet for å gjenta flaggene for hånd.
3. Kjører du embeddings mot flere kontoer: send nøkkelen per kall med --key i stedet for å sette den globalt på modellen.