Cloudflare kunngjorde onsdag at selskapet fra 15. september 2026 som standard vil blokkere «blandede» crawlere fra alle sider som viser annonser. Med «blandet» mener Cloudflare crawlere som slår sammen tradisjonelt søk, agentbruk og modelltrening i én bot. Endringen gjelder nye kunder, nye nettsteder satt opp av eksisterende kunder, og alle gratiskunder.
Målet er å tvinge KI-selskaper til å skille søke-crawlere fra dem som henter innhold til trening og agenttjenester. Cloudflare peker spesifikt på «verdens største søkemotor», en tydelig referanse til Google, som ifølge selskapet har tilgang til rundt dobbelt så mye informasjon som andre fordi nettsteder vanskelig kan være synlige i søk uten samtidig å bli brukt til KI.
«Nå som majoriteten av trafikken på internett ikke er menneskelig, må vi gå lenger og handle raskere for at et bærekraftig økosystem skal kunne vokse frem.» — Matthew Prince, medgründer og CEO i Cloudflare
Samtidig utvider Cloudflare sin «Pay Per Crawl» til «Pay Per Use», som lar utgivere ta betalt når innholdet skaper verdi, ikke bare når det hentes. Selskapets egne tall viser at over 50 prosent av crawl-trafikken fra KI-boter går til å re-hente uendrede sider. De første partnerne er Ceramic.ai og You.com.
For deg som bygger agenter eller henter web-innhold til trening, flyttes standardveggen: fra september må boten din ha tydelig, atskilt hensikt for å slippe gjennom på annonsefinansierte sider uten avtale.