Cloudflare stawia firmom AI ultimatum: rozdzielcie crawlery albo od 15 września blokada

Crawlery mieszane trafią na zamknięte drzwi

Cloudflare ogłosił, że crawlery łączące wyszukiwanie, trening AI i zastosowania agentowe będą na stronach z reklamami blokowane, dopóki właściciel strony wyraźnie nie zdecyduje inaczej. Nowe ustawienia domyślne obejmą nowych klientów, nowe strony obecnych klientów i wszystkich użytkowników planu darmowego, czyli zdecydowaną większość sieci Cloudflare.

Adresat jest oczywisty: Google

Cloudflare mówi o „największej wyszukiwarce świata”, która według firmy ma dostęp do mniej więcej 2x większej ilości informacji niż pozostałe firmy AI, bo strony nie mogą zrezygnować z crawlowania AI bez utraty widoczności w wyszukiwarce. Google broni się narzędziem Google Extended do opt-outu z treningu, ale główny Googlebot dalej crawluje też dla AI Overviews i AI Mode.

Boty już przeważają nad ludźmi w sieci

Szef Cloudflare Matthew Prince uzasadnia ruch tym, że większości ruchu w internecie nie generują już ludzie, więc ekosystem potrzebuje szybszej interwencji. Ten kamień milowy nadszedł zresztą wcześniej, niż się spodziewano; pierwotne szacunki wskazywały dopiero przyszły rok.

Dobrowolne umowy stają się warunkiem biznesowym

Kto chce dalej czytać treści wydawców, będzie musiał rozdzielić crawlery według celu i dogadać się ze stronami o dostęp dla treningu i agentów, zwykle za pieniądze. Cloudflare z pozycji warstwy sieciowej wymusza rynek, którego samo licencjonowanie treści stworzyć nie zdołało.

Werdykt Lilith

Kto trzyma warstwę sieciową, ten pisze reguły rynku treści. Cloudflare właśnie zamienił ustawienie domyślne w model biznesowy.