Apache Airflow lanserer Common AI Provider — native støtte for LLM og KI-agenter

6 operatorer, 6 TaskFlow-dekoratorer og støtte for over 20 modelleverandører i én pip-installasjon. Apache Airflows nye Common AI Provider-pakke (versjon 0.1.0) gir native KI-integrasjon direkte i pipeline-definisjonene, ifølge Airflow-bloggen. Pakken krever Airflow 3.0+ og installeres med pip install 'apache-airflow-providers-common-ai'.

Det mest interessante er dekorator-suiten. @task.llm håndterer enkle LLM-kall med strukturert output via Pydantic. @task.agent gir multi-stegs agenter som velger verktøy selv og looper til de har et svar. @task.llm_branch lar modellen bestemme hvilke downstream-oppgaver som skal kjøre, og @task.llm_sql genererer SQL fra naturlig språk med sikkerhetskontroll via AST-parsing.

«Ikke en wrapper rundt et annet rammeverk, men en provider-pakke som plugger inn i orkestreringen du allerede kjører» — Apache Airflow

For team som allerede bruker Airflow til datapipelines, betyr dette at KI-arbeidsflyter kan orkestreres med samme verktøy uten å introdusere LangChain eller lignende mellomlag. Pakken støtter OpenAI, Anthropic, Google, Azure, Bedrock og Ollama blant andre.

Pakken inkluderer også @task.llm_file_analysis for å analysere filer i objektlagring med multimodal støtte, og @task.llm_schema_compare som sammenligner skjemaer på tvers av databaser. Merk at dette er en 0.x-utgivelse med forbehold om breaking changes mellom minor-versjoner.