llm 0.36 får GPT-6 Sol og Luna og stopper samtaler mot enkeltprompt-modeller

Ikke alle språkmodeller er bygget for samtaler. Noen tar bare imot én enkelt prompt og har ingen bruk for tidligere meldinger eller resultater fra verktøykall. Simon Willisons kommandolinjeverktøy LLM, i versjon 0.36 sluppet på GitHub 22. september, gir nå plugin-forfattere en måte å melde fra om akkurat det.

Mekanismen er et flagg på modellklassen: supports_conversation = False. Får en slik modell assistent- eller verktøyhistorikk, kaster LLM unntaket llm.ConversationNotSupported, og llm chat avviser modellen før den interaktive økten i det hele tatt starter. Den første pluginen som bruker flagget er Willisons egen llm-typesafe.

Samme utgivelse legger inn OpenAIs nye modeller med ID-ene gpt-6-sol og gpt-6-luna, så de kan velges med -m som alle andre modeller i verktøyet. Resonneringsspor i Markdown-utskriften fra llm logs pakkes dessuten inn i -tagger, slik at lange tankerekker kollapser når du limer loggen inn et sted som rendrer HTML.

Resten er seks feilrettinger, og fem av dem kom fra eksterne bidragsytere. Den mest relevante for deg som bygger agenter på Python-API-et: lukker du en asynkron response.astream_events()-strøm før den er ferdig, lukkes nå også den underliggende generatoren hos leverandøren, slik at strømmeforbindelsen frigjøres. AsyncResponse.log_to_db() krasjer heller ikke lenger med sqlite3.ProgrammingError etter at svaret er awaitet.

Hva bør du gjøre?

1. Oppgrader med pip install -U llm, eller tilsvarende for pipx eller Homebrew, og test de nye modellene med llm -m gpt-6-sol.
2. Vedlikeholder du en plugin for en klassifiserings- eller enkeltprompt-modell, sett supports_conversation = False slik at brukerne får en tydelig feil i stedet for et uventet svar.
3. Bruker du astream_events() i en agentløkke som avbryter strømmer tidlig, fjern eventuelle egne omveier for å lukke forbindelser og verifiser at ressursene frigjøres.