Ein robots.txt-Signal soll mehreren KI-Anbietern das Training untersagen

OpenAI hat angekündigt, ein gemeinsames robots.txt-Signal für Präferenzen zum Training generativer KI zu unterstützen. Website-Betreiber müssten dann nicht mehr für den Crawler jedes teilnehmenden Anbieters eine eigene Regel pflegen. Die Umsetzung soll in den kommenden Monaten erfolgen, ein genauer Termin und technische Details fehlen noch.

OpenAI vereinheitlicht den Trainingsausschluss und behält bestehende Kontrollen bei

Der Mechanismus baut auf der Arbeit der IETF-Gruppe AI Preferences auf. Der Entwurf verwendet ein eigenes Policy-Token innerhalb der bekannten robots.txt-Struktur. Websites können damit Präferenzen für einzelne Pfade ausdrücken, ohne die Dateisyntax zu verändern. Es handelt sich weiterhin um einen Internet-Draft, nicht um einen verabschiedeten IETF-Standard.

Laut OpenAI bleiben die bisherigen Crawler-Einstellungen bestehen. Betreiber können das Modelltraining weiterhin getrennt von der Auffindbarkeit in der ChatGPT-Suche steuern. Das gemeinsame Signal soll den Pflegeaufwand senken, nicht sämtliche Nutzungsarten von Webinhalten in einem Schalter bündeln.

Verlage sparen Konfiguration, der Streit um Einwilligung bleibt

Für kleinere Verlage und Webteams ist der Nutzen greifbar: Eine Präferenz kann mehrere Anbieter erreichen und muss nicht bei jeder Umbenennung eines Crawlers angepasst werden. Auch Google plant die Unterstützung für 2027. Das verleiht dem Ansatz mehr Gewicht als einer weiteren anbieterspezifischen Kennzeichnung.

Das Signal löst vor allem ein Kommunikationsproblem. Es beweist nicht, dass ein Anbieter Inhalte tatsächlich aus dem Training entfernt hat, und erfasst Kopien desselben Werks auf anderen Domains nicht automatisch. Urheber kontrollieren außerdem nicht immer die Websites, auf denen ihre Arbeit erscheint.

Eine öffentliche Datei ist weder Schloss noch Prüfprotokoll

robots.txt beruht auf freiwilliger Kooperation. Ein regelkonformer Crawler liest die Vorgabe, ein missbräuchlicher Sammler kann sie ignorieren und Website-Betreiber können einen Trainingsdatensatz von außen nicht prüfen. Der Entwurf trennt zudem Nutzungspräferenzen von Zugriffsregeln für Crawler.

Anbieter brauchen daher klare Regeln für Konflikte und ein überprüfbares Verfahren zur Fehlerkorrektur. Ohne ein solches Verfahren erhalten Verlage eine einfachere Möglichkeit, ihren Wunsch zu äußern, aber keinen Nachweis über die Entfernung ihrer Inhalte.

Verbreitung und Beschwerdewege entscheiden über die Wirkung

Entscheidend werden OpenAIs konkrete Umsetzung, die Zahl weiterer Anbieter und ein gemeinsames Verständnis des Tokens sein. Google plant die Unterstützung für 2027. Erst eine breite Einführung kann den Entwurf zu einem normalen Bestandteil des Website-Betriebs machen.

Ebenso wichtig ist der Umgang mit Streitfällen. Verlage müssen wissen, wo sie eine missachtete Präferenz melden, wie der Anbieter den Fall untersucht und was mit bereits verarbeiteten Inhalten geschieht.

Liliths Urteil

Eine robots.txt-Regel kann das Crawler-Dickicht lichten. Solange Verlage nicht sehen, wer das Schild beachtet, hängt es an einem Zaun ohne Kamera.