Hvor mye enklere blir agentutvikling når du slipper å bytte SDK hver gang du vil prøve en ny modell? Det er spørsmålet Cloudflare prøver å svare på med AI Platform, som ble annonsert under Agents Week 2026. Plattformen samler Workers AI, AI Gateway og Replicate i én inferenslag — kjernemekanikken er at det samme env.AI.run()-kallet nå fungerer mot alle leverandører.
Koden ser slik ut i Workers:
`
const response = await env.AI.run('anthropic/claude-opus-4-6', {
input: 'What is Cloudflare?'
}, { gateway: { id: "default" } });
`
Å bytte fra Cloudflare-hostet modell til OpenAI, Anthropic eller Alibaba er «en endring på én linje» ifølge blogginnlegget. REST API-støtte kommer «de neste ukene» for utviklere som ikke bruker Workers. Fakturering går via én felles konto uansett leverandør, og du kan tagge requests med metadata for kostnadsfordeling per team, bruker eller workflow.
«A simple chatbot might make one inference call per user prompt. An agent might chain ten calls together — suddenly a single slow provider doesn't add 50ms, it adds 500ms.» — Cloudflare, om hvorfor agenter krever en annen type infrastruktur enn chatbots
Den viktigste agent-funksjonen er automatisk failover. Hvis du kaller en modell som er tilgjengelig fra flere leverandører og én er nede, ruter AI Gateway automatisk til neste. Kombinert med Agents SDKs innebygde checkpointing skal streamingresponser tåle disconnects: AI Gateway buffrer outputen uavhengig av agentens levetid, så agenten kan koble seg opp igjen og hente resten uten å betale for tokens to ganger.
Replicate-teamet er nå fusjonert inn i Cloudflares AI Platform-team. Det betyr at Replicate-modeller kommer til AI Gateway, og at du snart kan pakke egne modeller med Cog og deploye dem på Workers AI. GPU-snapshotting for raskere cold starts er på roadmapen, sammen med wrangler-kommandoer for å pushe egne containere.
Hva bør du gjøre?
- Test failover-oppsettet hvis agentene dine kjører lange kjeder. AI Gateway kan spare deg for cascade-failures når én leverandør får trøbbel — sett opp metadata-tagging fra start slik at du kan spore hvor requestene faktisk lander.
- Flytt streamingbaserte agenter til AI Gateway-bufferen hvis du allerede bruker Agents SDK. Reconnect uten token-dobbel-fakturering er nytt og verdt å prøve.
- Hold av plassen hvis du vil være med på custom-model-programmet med Cog-containere — Cloudflare tar inn design-partnere nå, og GPU-kapasitet blir sannsynligvis begrenset i starten.