Jeden sygnał w robots.txt ma wykluczyć stronę z treningu wielu firm AI

OpenAI zapowiedziało obsługę wspólnego sygnału w robots.txt dotyczącego preferencji wobec treningu generatywnej AI. Właściciel strony nie będzie musiał utrzymywać osobnej reguły dla crawlera każdej uczestniczącej firmy. OpenAI chce wdrożyć rozwiązanie w najbliższych miesiącach, ale nie podało dokładnej daty ani pełnych szczegółów technicznych.

OpenAI ujednolica rezygnację z treningu i zachowuje obecne ustawienia

Mechanizm opiera się na pracach grupy AI Preferences przy IETF. Projekt wykorzystuje osobny policy token w znanej strukturze robots.txt, dzięki czemu witryna może określić preferencje dla konkretnych ścieżek bez zmiany składni pliku. To wciąż Internet-Draft, a nie zatwierdzony standard IETF.

OpenAI zapewnia, że dotychczasowe ustawienia dla jego crawlerów pozostaną aktywne. Administratorzy nadal będą mogli oddzielić trening modeli od obecności w wyszukiwarce ChatGPT. Wspólny sygnał ma ograniczyć liczbę reguł, a nie sprowadzić wszystkich zastosowań treści do jednego przełącznika.

Wydawcy dostaną prostszą konfigurację, ale spór o zgodę pozostanie

Dla mniejszych redakcji i zespołów webowych korzyść jest konkretna: jedna preferencja może objąć kilku dostawców i nie wymaga zmian przy każdej korekcie nazwy crawlera. Google również zapowiedziało obsługę mechanizmu w 2027 roku, co nadaje mu większą wagę niż kolejna etykieta jednego producenta.

Sygnał porządkuje przede wszystkim komunikację. Nie potwierdza, że dostawca naprawdę usunął treść z treningu, i nie obejmuje automatycznie kopii tego samego utworu w innych domenach. Twórca często nie kontroluje też strony, na której opublikowano jego pracę.

Publiczny plik nie jest zamkiem ani rejestrem audytowym

robots.txt działa dzięki dobrowolnej współpracy. Uczciwy crawler odczyta regułę, agresywny zbieracz może ją zignorować, a administrator nie zajrzy z zewnątrz do zbioru treningowego. Projekt oddziela również preferencje użycia treści od zasad dostępu crawlera.

Firmy będą więc musiały jasno opisać rozstrzyganie sprzecznych reguł i procedurę naprawiania błędów. Bez tego wydawca dostanie wygodniejszy sposób wyrażenia woli, lecz nadal bez potwierdzenia, że jego materiały zniknęły z danych.

O znaczeniu sygnału przesądzą adopcja i skuteczna ścieżka odwoławcza

W najbliższych miesiącach warto obserwować szczegóły wdrożenia OpenAI, liczbę kolejnych uczestników i zgodność co do znaczenia tokenu. Google planuje wsparcie w 2027 roku. Dopiero szeroka adopcja może zmienić projekt w zwykły element prowadzenia witryny.

Równie ważna będzie obsługa sporów. Wydawca musi wiedzieć, gdzie zgłosić zignorowaną preferencję, jak firma zbada sprawę i co zrobi z treścią, którą już przetworzyła.

Werdykt Lilith

Jedna reguła w robots.txt może uporządkować gąszcz crawlerów. Dopóki wydawca nie zobaczy, kto uszanował tabliczkę, będzie to znak na płocie bez kamery.