1つのrobots.txtで複数のAI企業に学習拒否を伝える

OpenAIは、生成AIの学習に関する意思を示す共通のrobots.txt信号を尊重すると発表した。サイト運営者は、参加事業者ごとに別々のクローラー規則を管理する手間を減らせる。OpenAIは今後数カ月での実装を目指すが、具体的な時期や技術仕様はまだ示していない。

OpenAIは学習拒否を共通化し、既存の制御も残す

この仕組みはIETFのAI Preferencesグループの作業に基づく。提案では、通常のrobots.txt構造に専用のpolicy tokenを置き、ファイル形式を変えずにパス単位の意思を表明できる。現段階ではInternet-Draftであり、IETFが承認した標準ではない。

OpenAIは、既存のクローラー制御も引き続き有効だとしている。サイト運営者は、モデル学習への利用とChatGPT検索への掲載を分けて設定できる。共通信号の目的は規則の管理を減らすことであり、ウェブコンテンツの用途を1つのスイッチにまとめることではない。

出版社の設定作業は減るが、同意をめぐる問題は残る

小規模な出版社やウェブ担当者にとっての利点は明確だ。1つの意思表示を複数社に届けられ、クローラー名が変わるたびに修正する必要も減る。Googleも2027年の対応を計画しており、単独企業の仕様より広がる可能性がある。

一方、この信号が解決するのは主に意思伝達だ。事業者が本当に学習対象から除外したことを証明するものではなく、別ドメインに転載された同じ作品まで自動でカバーしない。作者が掲載先のサイトを管理できない場合も多い。

公開ファイルは鍵にも監査記録にもならない

robots.txtは自主的な協力で成り立つ。良識あるクローラーは規則を読むが、悪質な収集者は無視できる。サイト運営者が外部から学習データセットを確認することもできない。提案は、コンテンツ利用の意思とクローラーのアクセス制御も分けて扱う。

そのため、規則が衝突した場合の扱いと、誤りを訂正する検証可能な手続きが必要になる。これがなければ、出版社が得るのは希望を伝える簡単な方法であり、素材が学習データに含まれないという証拠ではない。

普及率と救済手続きが信号の価値を決める

次に見るべき点は、OpenAIの具体的な実装、参加事業者の数、tokenの意味に関する合意だ。Googleは2027年の対応を予定している。幅広く採用されて初めて、ウェブ運営の標準的な作業になり得る。

紛争への対応も同じくらい重要だ。出版社には、無視された意思をどこへ申告し、事業者がどう調査し、すでに処理されたコンテンツをどう扱うのかが見える必要がある。

Lilithの判定

robots.txtの1行でクローラーの藪は整理できる。だが誰が標識を守ったか確認できなければ、それは監視カメラのない柵に掛けた札のままだ。