AI大手4社、学習用クロールを拒否する共通信号に対応へ

OpenAI、Google、Microsoft、Anthropicは、robots.txtに記載する共通policy tokenへの対応を表明した。サイト運営者は企業ごとのcrawlerに別々のルールを設定せず、1つの信号でAI trainingへの利用を拒否できる。

crawlerごとの拒否リストを1つのtokenで置き換える

AnthropicのKevin KelleyがInternet Engineering Task Forceで提案した仕組みだ。tokenは、サイトが長年crawlerへアクセス方針を伝えてきたrobots.txtに置かれる。特定のbot名だけでなく、コンテンツを何に使ってよいかを示す点が異なる。

4社はいずれも信号を尊重するとしている。Anthropicはすでに実装済みで、OpenAIは今後数か月、GoogleとMicrosoftは来年の対応を予定する。Metaは提案を支持したものの、順守するとは明言していない。共通規格ができても、開始日は共通ではない。

MicrosoftはAI trainingとgroundingを分けた制御も提供するという。この設定にかかわらず、通常のBing Searchには掲載される。Googleも関連する制御を通じて、一部のAI利用と従来型検索を分離している。

サイト運営者は検索流入と学習利用を切り分けられる

従来の選択肢は粗すぎた。検索からの流入は欲しいが、記事を訓練コーパスには提供したくないサイトは多い。複数用途を担うcrawlerでは、1つの用途を止めると別の用途まで失う恐れがあった。共通信号は、運営者に分かりやすいスイッチを与え、crawler側にも確認場所を一本化する。

Cloudflareは9月、同社ネットワークで確認されたcrawler通信の36.6％を複数用途のcrawlerが占めると公表した。検索crawlerを拒否するサイトは1％未満だが、AI trainingを制限するサイトは17％だった。この差が需要を示す。サイト運営者はウェブから消えたいのではなく、同じページの用途を分けたい。

プロダクト部門や法務部門にとって、直接の利点は運用面にある。変わり続けるbot名の一覧より、1つの方針のほうが管理しやすい。何をcrawler運営者へ伝えたかも、より明確に記録できる。

robots.txtは意思を示すが、順守を強制できない

policy tokenはcrawlerを技術的に止めない。運営者が認識し、守って初めて機能する。大手4社の約束は重みを持つが、身元不明のscraper、名称を変えたbot、導入前に集めたデータをめぐる争いは解決しない。

training、grounding、検索上のAI回答、ユーザーの依頼でページを読むagentの境界も曖昧だ。Microsoftは細かな選択肢を約束するが、サイト側は他社にも同じ精度を求める。1つのtokenで用語は統一できても、全事業モデルまでは統一できない。

Google、Microsoft、OpenAIの実装が試金石になる

最初の検証材料は、残る3社が文書、日程、確認可能なcrawler挙動を公開することだ。trainingを拒否しても通常検索から消えないこと、同じ設定を各社が異なる意味で扱わないことを、サイト運営者が確かめられなければならない。

次の試験は小規模事業者とCloudflareのような基盤企業が担う。ホスティング側が一般的な設定として提供し、大手4社以外のcrawlerも扱いを公表して初めて、規格は実務上の力を持つ。

Lilithの判定

大手4社はようやく、サイトの入口に掲げた同じ札を読むと約束した。札の向こうに価値の高い訓練素材があるときも従うかが、本当の試験になる。