TIME serverer KI-roboter en egen utgave av nettstedet, med annonser innbakt

303 235 byte HTML som Chrome. 13 409 byte ren markdown som ClaudeBot. Samme URL, samme sekund, samme maskin, én tjuetredjedel av størrelsen. Utvikleren Vincent Schmalbach hentet én helt vanlig helseartikkel fra TIME om og om igjen og endret bare User-Agent-strengen mellom hvert kall. Safari og Googlebot fikk den samme fulle HTML-siden som Chrome. PerplexityBot og OpenAIs OAI-SearchBot fikk markdown-versjonen, byte for byte identisk med den ClaudeBot fikk. GPTBot og ChatGPT-User ble avvist med 406.

Det er ikke en generell robotpolicy, altså. TIME velger per robot hvem som får den leserfrie utgaven, og søkeindeksen til ChatGPT slipper inn der treningsrobotene stenges ute.

Markdown-svaret bærer headere fra annonseleverandøren Mobian, og selve dokumentet åpner med en HTML-kommentar som identifiserer det som en agentside for utgiveren. To detaljer forteller hva som telles: cache-control: no-store sammen med en x-mobian-impression-UUID som er fersk ved hvert eneste kall, og en x-mobian-tokens-verdi. Enheten som logges er ikke en leser og ikke et sidevisning, men tokens matet inn i en modell.

Annonsene ligger på liste- og seksjonssidene. Schmalbach hentet TIMEs samling over årets beste oppfinnelser som ClaudeBot og fant en fullstendig FAQ for Ally Bank inne i markdownen, merket som sponset innhold, med en JSON-LD-blokk av typen FAQPage og sporingslenker merket med kampanjekode. Forretningsseksjonen hadde tilsvarende for Project Management Institute, blant annet en påstand om at sertifiserte prosjektledere tjener 16 prosent mer. Den menneskelige HTML-en på de samme sidene inneholder ingenting av dette.

«"Hvem er Ally Bank?" er skrevet som formuleringen en modell sender ut når en bruker spør ChatGPT hvilken bank de skal åpne konto i» — Vincent Schmalbach

Innholdet er altså merket som sponset, så dette er ikke skjult reklame i klassisk forstand. Det som er skjult, er delingen av publikum. Googlebot får samme HTML som et menneske, så rangeringsroboten ser den ekte siden, mens assistentrobotene får den gaflede versjonen. TIME oppgir at robottrafikken allerede overgår menneskelig trafikk de fleste dager.

Hva bør du gjøre?

1. Logg content-type og responsstørrelse for hver henting agenten din gjør. Får du markdown der du ventet HTML, leser modellen din en side ingen mennesker ser.
2. Test kildene dine med to User-Agent-strenger før du stoler på uttrekket. Er svarene ulike, må du avgjøre hvilken versjon som er den du faktisk vil sitere.