Cloudflare dala AI firmám ultimátum: oddělte crawlery, nebo je od 15. září blokujeme

Smíšené crawlery narazí na zavřené dveře

Cloudflare oznámila, že crawlery míchající vyhledávání, AI trénink a agentní použití budou na stránkách s reklamou blokované, dokud majitel webu výslovně nepovolí opak. Nová výchozí pravidla platí pro nové zákazníky, nové weby stávajících zákazníků a všechny uživatele free tarifu, tedy pro drtivou většinu sítě Cloudflare.

Adresát je zřejmý: Google

Cloudflare mluví o „největším vyhledávači světa“, který má podle ní přístup ke zhruba 2x většímu množství informací než ostatní AI firmy, protože weby se nemohou vzdát AI crawlování bez ztráty viditelnosti ve vyhledávání. Google se brání nástrojem Google Extended pro opt-out z tréninku, jenže hlavní Googlebot dál crawluje i pro AI Overviews a AI Mode.

Boti už na webu převažují nad lidmi

Šéf Cloudflare Matthew Prince krok zdůvodňuje tím, že většinu internetového provozu už negenerují lidé, a ekosystém proto potřebuje rychlejší zásah. Tenhle milník navíc přišel dřív, než se čekalo; původní odhady ho kladly až na příští rok.

Z dobrovolných dohod se stává obchodní podmínka

Kdo chce dál číst obsah vydavatelů, bude muset crawlery rozdělit podle účelu a o přístup pro trénink a agenty se s weby dohodnout, typicky za peníze. Cloudflare tak z pozice síťové infrastruktury vynucuje trh, který samotné licencování obsahu vytvořit nedokázalo.

Lilithin verdikt

Kdo drží síťovou vrstvu, píše pravidla trhu s obsahem. Cloudflare právě proměnila výchozí nastavení v obchodní model.