Cztery firmy AI poprą jeden sygnał zakazujący treningu na treściach z sieci

OpenAI, Google, Microsoft i Anthropic poparły wspólny policy token w robots.txt. Wydawca może jednym sygnałem odmówić użycia treści do AI training, zamiast ustawiać osobną regułę dla crawlera każdej firmy.

Jeden token ma zastąpić listę zakazów dla każdego crawlera

Mechanizm zaproponował Kevin Kelley z Anthropic w ramach prac Internet Engineering Task Force. Token znajduje się w robots.txt, czyli pliku używanym od dziesięcioleci do przekazywania crawlerom zasad dostępu. Nowość polega na opisaniu celu użycia treści, a nie wyłącznie wskazaniu konkretnego bota.

Wszystkie cztery firmy deklarują respektowanie sygnału. Anthropic już go wdrożył. OpenAI zapowiada obsługę w najbliższych miesiącach, a Google i Microsoft wskazują przyszły rok. Meta wyraziła poparcie dla propozycji, ale nie zobowiązała się do jej przestrzegania. Wspólny standard nie oznacza więc wspólnej daty startu.

Microsoft obiecuje również osobne ustawienia dla AI training i groundingu. Witryna ma pozostać w zwykłych wynikach Bing Search niezależnie od tej preferencji. Google już rozdziela część zastosowań AI od klasycznego wyszukiwania za pomocą podobnych mechanizmów.

Wydawcy mogą wreszcie oddzielić widoczność od treningu

Dotychczasowy wybór bywał zbyt brutalny. Witryna chciała ruchu z wyszukiwarki, lecz nie chciała dostarczać tekstów do korpusu treningowego. Gdy jeden crawler służył kilku celom, zablokowanie jednego zastosowania mogło zaszkodzić drugiemu. Wspólny sygnał daje wydawcy czytelniejszy przełącznik, a operatorowi crawlera jedno stałe miejsce do jego odczytu.

Cloudflare podał we wrześniu, że crawlery wielofunkcyjne odpowiadają za 36,6 % zweryfikowanego ruchu crawlerów w jego sieci. Mniej niż 1 % witryn blokowało crawlery wyszukiwarek, natomiast 17 % ograniczało AI training. Ta różnica wyjaśnia popyt: właściciele stron nie chcą zniknąć z internetu, chcą rozdzielić różne sposoby wykorzystania tej samej treści.

Dla zespołów produktowych i prawnych najważniejsza korzyść jest operacyjna. Jedną preferencję łatwiej utrzymać niż rosnącą listę nazw botów. Standard tworzy też wyraźniejszy zapis tego, co witryna przekazała operatorowi crawlera.

Robots.txt wyraża wolę, ale jej nie egzekwuje

Policy token nie zatrzymuje crawlera technicznie. Działa tylko wtedy, gdy operator go rozpoznaje i respektuje. Deklaracje czterech dużych firm zwiększają jego znaczenie, lecz nie rozwiązują problemu niezidentyfikowanych scraperów, botów pod zmienioną nazwą ani sporów o dane zebrane wcześniej.

Niejasne pozostają też granice między treningiem, groundingiem, odpowiedzią AI w wyszukiwarce i agentem pobierającym stronę na prośbę użytkownika. Microsoft zapowiada dokładniejsze ustawienia, ale witryny będą potrzebować równie precyzyjnych wdrożeń od pozostałych dostawców. Jeden token może ujednolicić słownik, lecz nie wszystkie modele biznesowe.

Wdrożenia Google, Microsoftu i OpenAI pokażą wartość standardu

Pierwszy mierzalny sygnał pojawi się, gdy trzy pozostałe firmy opublikują dokumentację, terminy i zachowanie crawlerów możliwe do sprawdzenia. Administratorzy muszą móc potwierdzić, że odmowa treningu nie usuwa strony ze zwykłego wyszukiwania i że firmy nie interpretują tej samej preferencji inaczej.

Drugi test przeprowadzą mniejsi operatorzy oraz dostawcy infrastruktury tacy jak Cloudflare. Standard zyska praktyczną siłę dopiero wtedy, gdy hostingi udostępnią go jako zwykłe ustawienie, a crawlery spoza wielkiej czwórki wyjaśnią, jak go obsługują.

Werdykt Lilith

Cztery wielkie firmy wreszcie obiecały czytać tę samą tabliczkę na drzwiach witryny. Prawdziwy test zacznie się wtedy, gdy za nimi znajdzie się najcenniejszy materiał treningowy.