Jeden robots.txt má říct více AI firmám, že web nechce do tréninku

OpenAI oznámila podporu společného signálu v robots.txt pro preference k tréninku generativní AI. Provozovatel webu tak nebude muset udržovat samostatné pravidlo pro crawler každého zapojeného poskytovatele. Firma chce podporu zavést v příštích měsících, přesný termín ani technické podrobnosti zatím neuvedla.

OpenAI sjednocuje odmítnutí tréninku, stávající pravidla ponechá

Nový mechanismus vychází z práce skupiny AI Preferences při IETF. Návrh používá samostatný policy token v běžné struktuře robots.txt, takže web může popsat preference pro konkrétní cesty bez změny syntaxe souboru. Jde o rozpracovaný internetový návrh, nikoli schválený standard IETF.

OpenAI uvádí, že dosavadní nastavení pro její crawlery zůstane v platnosti. Provozovatelé tedy mohou dál oddělit trénink od vyhledávání v ChatGPT. Společný signál má snížit počet pravidel, ne sloučit všechny způsoby použití obsahu do jednoho přepínače.

Vydavatelům ubude konfigurace, spor o souhlas tím nekončí

Pro menší redakce a správce webů je přínos konkrétní: jedna preference může oslovit více poskytovatelů a nemusí se opravovat při každé změně názvu crawleru. Google také oznámil plán podpory a míří na rok 2027, což dává návrhu větší váhu než další firemní značce.

Signál ale řeší hlavně komunikaci. Neověřuje, zda poskytovatel obsah skutečně vyřadil z tréninku, a nepokrývá automaticky kopie téhož textu na jiných doménách. Vlastník obsahu navíc často neprovozuje web, na kterém se jeho práce objevila.

Veřejný soubor není zámek ani auditní protokol

robots.txt stojí na dobrovolné spolupráci. Slušný crawler pravidlo přečte, problematický sběrač ho může ignorovat a provozovatel webu zvenčí nevidí do složení tréninkové sady. Návrh také odděluje preference k použití obsahu od řízení samotného přístupu crawleru.

Proto bude důležité, jak firmy vyloží konfliktní pravidla a zda zveřejní kontrolovatelný postup pro nápravu chyb. Bez něj dostanou vydavatelé jednodušší formulář přání, nikoli důkaz, že jejich texty v datech nejsou.

O výsledku rozhodne adopce a možnost ověřit nápravu

V příštích měsících bude podstatná přesná implementace OpenAI, seznam dalších zapojených poskytovatelů a shoda na významu tokenu. Google plánuje podporu v roce 2027. Teprve širší adopce ukáže, zda se z návrhu stane společná internetová praxe.

Druhým signálem bude řešení sporů. Vydavatel potřebuje vědět, kam nahlásit nerespektovanou preferenci, jak firma chybu prověří a co udělá s obsahem, který už zpracovala.

Lilithin verdikt

Jeden řádek v robots.txt může uklidit džungli crawlerů. Dokud ale vydavatel neuvidí, kdo jeho ceduli respektoval, zůstává na plotě bez kamery.