Vier KI-Firmen unterstützen ein gemeinsames Signal gegen Training mit Webinhalten

OpenAI, Google, Microsoft und Anthropic unterstützen ein gemeinsames Policy-Token in robots.txt. Publisher können damit über ein einziges Signal die Nutzung ihrer Inhalte für AI Training ablehnen, statt für den Crawler jedes Unternehmens eine eigene Regel zu pflegen.

Ein Token soll die Sperrliste für jeden Crawler ersetzen

Kevin Kelley von Anthropic brachte den Mechanismus in die Arbeit der Internet Engineering Task Force ein. Das Token steht in robots.txt, jener Datei, mit der Websites seit Jahrzehnten Zugriffsregeln an Crawler übermitteln. Neu ist, dass die Präferenz einen Nutzungszweck beschreibt und nicht nur einen bestimmten Bot benennt.

Alle vier Unternehmen erklären, das Signal zu beachten. Anthropic hat es bereits umgesetzt. OpenAI nennt die kommenden Monate, Google und Microsoft das nächste Jahr. Meta begrüßte den Vorschlag, verpflichtete sich aber nicht zur Einhaltung. Ein gemeinsamer Standard bedeutet daher noch keinen gemeinsamen Starttermin.

Microsoft verspricht zusätzlich getrennte Einstellungen für AI Training und Grounding. Eine Website soll unabhängig von dieser Präferenz in gewöhnlichen Bing-Search-Ergebnissen bleiben. Google trennt über verwandte Kontrollen bereits einige KI-Nutzungen von der klassischen Suche.

Publisher können Auffindbarkeit und Training endlich trennen

Die bisherige Wahl war häufig zu grob. Eine Website wollte Suchverkehr, aber ihre Texte nicht für einen Trainingskorpus bereitstellen. Diente ein gemischt genutzter Crawler mehreren Zwecken, konnte die Sperre einer Nutzung auch die andere gefährden. Ein gemeinsames Signal gibt Publishern einen klareren Schalter und Crawler-Betreibern einen einheitlichen Ort zum Auslesen.

Cloudflare erklärte im September, dass gemischt genutzte Crawler 36,6 % des verifizierten Crawler-Verkehrs in seinem Netzwerk ausmachen. Weniger als 1 % der Websites blockierten Such-Crawler, während 17 % AI Training einschränkten. Der Unterschied erklärt den Bedarf: Website-Betreiber wollen nicht aus dem Internet verschwinden, aber verschiedene Nutzungen derselben Seite trennen.

Für Produkt- und Rechtsteams liegt der unmittelbare Vorteil im Betrieb. Eine Präferenz lässt sich leichter pflegen als eine wachsende Liste wechselnder Bot-Namen. Ein Standard dokumentiert außerdem klarer, was eine Website einem Crawler-Betreiber mitgeteilt hat.

Robots.txt äußert einen Wunsch, erzwingt aber keinen Gehorsam

Das Policy-Token stoppt einen Crawler technisch nicht. Es wirkt nur, wenn ein Betreiber es erkennt und beachtet. Die Zusagen von vier großen Unternehmen verleihen ihm Gewicht, lösen aber weder unbekannte Scraper noch umbenannte Bots oder Streit über zuvor gesammelte Daten.

Auch die Grenzen zwischen Training, Grounding, einer KI-Antwort in der Suche und einem Agenten, der im Auftrag eines Nutzers eine Seite lädt, bleiben offen. Microsoft verspricht feinere Optionen, doch Websites brauchen ebenso präzise Umsetzungen anderer Anbieter. Ein Token kann das Vokabular vereinheitlichen, nicht jedes Geschäftsmodell.

Die Umsetzung bei Google, Microsoft und OpenAI wird entscheiden

Das erste messbare Signal kommt, wenn die drei übrigen Unternehmen Dokumentation, Termine und überprüfbares Crawler-Verhalten veröffentlichen. Betreiber müssen feststellen können, dass ein Trainingsverbot die klassische Sichtbarkeit nicht entfernt und dass Unternehmen dieselbe Präferenz nicht unterschiedlich auslegen.

Der zweite Test folgt durch kleinere Betreiber und Infrastruktur-Anbieter wie Cloudflare. Praktische Kraft gewinnt der Standard erst, wenn Hosting-Dienste ihn als normale Einstellung anbieten und Crawler außerhalb der vier großen Firmen ihren Umgang damit offenlegen.

Liliths Urteil

Vier große Unternehmen wollen endlich dasselbe Schild an der Website-Tür lesen. Ob sie es beachten, zeigt sich, wenn dahinter besonders wertvolles Trainingsmaterial liegt.