Čtyři AI firmy slíbily jeden signál pro zákaz trénování na webu

OpenAI, Google, Microsoft a Anthropic podpořily společný policy token v robots.txt. Vydavatel tak může jedním signálem odmítnout použití obsahu pro AI training, místo aby nastavoval pravidlo pro crawler každé firmy zvlášť.

Jeden token má nahradit seznam zákazů pro každého crawlera

Návrh předložil Kevin Kelley z Anthropic v rámci práce Internet Engineering Task Force. Token žije v robots.txt, tedy v souboru, kterým weby desítky let sdělují crawlerům pravidla přístupu. Rozdíl spočívá v tom, že preference popisuje účel použití obsahu, nikoli pouze konkrétního robota.

Čtyři firmy uvedly, že podle signálu omezí své crawlery. Anthropic ho už zavedl. OpenAI mluví o příštích měsících, Google a Microsoft o příštím roce. Meta návrh slovně podpořila, ale nepotvrdila, že jej bude respektovat. Jednotný standard tedy zatím neznamená jednotný den spuštění.

Microsoft navíc slibuje oddělené volby pro AI training a grounding. Web má zůstat v klasických výsledcích Bing Search bez ohledu na tuto preferenci. Google už podobně odděluje některá použití pro AI od běžného vyhledávání.

Vydavatelé konečně oddělí vyhledávání od trénování

Dosavadní volba byla často příliš hrubá. Web chtěl návštěvnost z vyhledávače, ale nechtěl dodávat text do tréninkového korpusu. U crawlerů používaných pro více účelů mohl zákaz jednoho použití ohrozit i druhé. Společný signál dává vydavateli srozumitelnější přepínač a provozovateli crawleru jednotné místo, kde jej přečte.

Cloudflare už v září uvedl, že smíšené crawlery tvoří 36,6 % ověřeného crawlerového provozu v jeho síti. Méně než 1 % webů blokovalo vyhledávací crawlery, zatímco 17 % omezovalo AI training. To dobře vysvětluje poptávku: majitelé webů se nechtějí schovat z internetu, chtějí rozdělit různé způsoby využití stejné stránky.

Pro produktové a právní týmy je výhoda hlavně provozní. Jedna preference se spravuje snáz než rostoucí seznam názvů botů, které se mohou měnit. Standard také vytváří jasnější záznam o tom, co web provozovateli crawleru sdělil.

Robots.txt vyjadřuje přání, nevynucuje poslušnost

Policy token sám crawler technicky nezastaví. Funguje pouze tehdy, když jej provozovatel rozpozná a dodrží. Závazek čtyř velkých firem zvyšuje jeho význam, ale neřeší neidentifikované scrapery, přejmenované boty ani spory o data získaná před zavedením signálu.

Nejasná zůstává také hranice mezi trénováním, groundingem, AI odpovědí ve vyhledávání a agentem, který stránku načte na žádost uživatele. Microsoft slibuje jemnější volby, avšak weby budou potřebovat stejně přesnou implementaci i od ostatních hráčů. Jeden token může sjednotit slovník, nikoli všechny obchodní modely.

Rozhodne implementace Googlu, Microsoftu a OpenAI

První měřitelný signál přijde, až další tři firmy zveřejní dokumentaci, termíny a testovatelné chování crawlerů. Správci webů musí být schopni ověřit, že zákaz trainingu nevyřadil klasické vyhledávání a že stejnou preferenci firmy nevykládají různě.

Druhý test přinesou menší provozovatelé a nástroje jako Cloudflare. Standard získá praktickou váhu teprve tehdy, když jej hostingy nabídnou jako běžné nastavení a crawlery mimo čtveřici velkých firem začnou zveřejňovat, jak s ním zacházejí.

Lilithin verdikt

Čtyři velké firmy konečně slíbily číst stejnou ceduli na dveřích webu. Teď se ukáže, zda ji budou respektovat i ve chvíli, kdy je za ní nejcennější tréninkový materiál.