llm-anthropic 0.27 fikser Claude-kall som varer over ti minutter

Simon Willisons Anthropic-tillegg for kommandolinjeverktøyet llm kom i versjon 0.27 mandag, og krever nå anthropic-biblioteket i versjon 1 eller nyere. Willison skriver at den nye biblioteksversjonen bytter fra httpx til httpx2, samme skifte OpenAI gjorde i sin 3.0-utgivelse to uker tidligere.

Den mest konkrete rettelsen gjelder lange kjøringer. Flagget --no-stream bruker nå strømme-API-et under panseret. Uten den endringen feilet modeller med høy standardverdi for max_tokens med SDK-meldingen «Streaming is required for operations that may take longer than 10 minutes».

Systemmeldinger midt i samtalen er også på plass. Claude Opus 4.8 og modellene i Claude 5-familien tar nå imot meldinger med rollen «system» sendt inline gjennom messages, ikke bare som en instruks i starten.

Tankeblokker overlever verktøykjeder. Blokker der innholdet er utelatt, og redacted_thinking-blokker, bevares nå i samtalehistorikken og spilles av på nytt når en verktøykjede fortsetter. For et oppsett som kjører flere verktøykall på rad, er det forskjellen mellom at modellen beholder sin egen resonnering og at den mister den underveis.

Resten er opprydding. Skjemaer bruker Claudes structured outputs for Claude Haiku 4.5. En TypeError som slo ut når temperature ble satt eksplisitt til None, er borte, og valideringsfeilen som feilaktig meldte at bare én av temperature og top_p kunne settes, er rettet. Verdien -o top_p 0.0 sendes nå til API-et i stedet for å bli behandlet som usatt.

Hva bør du gjøre?

1. Oppgrader først hvis du kjører lange jobber. Rettelsen av --no-stream er den eneste endringen som fjerner en hard feil, ikke bare en irritasjon.
2. Test miljøet før du ruller ut. Overgangen til httpx2 treffer alt annet i samme virtuelle miljø som fortsatt låser httpx.
3. Sjekk resonneringen i verktøykjedene dine på nytt. Har du bygget rundt at tankeblokker forsvant mellom verktøykall, endrer 0.27 den oppførselen.