「AIボットをブロック」の時代は終わった
2026年7月1日、Cloudflareは2回目の「Content Independence Day」を宣言し、AIクローラー対策の概念を根本からアップデートしました。
一言で言えば：「AIボット」を一括りにするのはもう終わり。
何が問題だったのか
昨年2025年7月、Cloudflareは「Block AI Bots」ボタンを全ユーザーに提供しました。これは画期的でした — WebサイトのコンテンツがAI学習に無断で使われる問題に対し、ワンクリックでブロックできる手段だったからです。
しかし1年経って、現実が変わりました。
- Google検索自体がAI化 — 検索結果がAI回答エンジンになり、「検索クローラー＝AI」という図式に
- AIエージェントの台頭 — ChatGPTやClaudeがブラウザを操作し、リアルタイムでサイトにアクセスする時代に
- 「全部ブロック」のジレンマ — ブロックすると検索に出なくなり、小規模サイトは存在が消える
つまり、「AIかどうか」の二択ではなく、「そのボットが何をしに来たか」で判断する必要が出てきたのです。
新しい3分類：Search / Agent / Training
CloudflareはAI関連のクローラーを3つの目的に分類しました。これが地味ですが、めちゃくちゃ重要な転換です。
🔍 Search（検索）
コンテンツを収集・インデックス化し、後でクエリに答えるためのクローラー。サイト側はリファラルトラフィック（アクセス）を受け取ることが期待される。
- 例：Googlebot、Bingbot等の検索インデックス作成
- サイト側のメリント：検索結果からの流入
🤖 Agent（エージェント）
人の代わりにリアルタイムでタスクを実行するためにサイトにアクセスするボット。ChatGPT-Userや、Claude/Geminiがブラウザを操作するケースなど。
- 例：ChatGPTのWeb検索、AIブラウザ自動操作
- 特徴：背後に「待っている人間」がいる
🎓 Training（学習）
コンテンツを取得してモデルの学習やファインチューニングに使うクローラー。データがAIモデルに永久に吸収される。
- 例：GPTBot（学習用）、CCBot等
- 特徴：コンテンツが「消費」され、サイト側に直接的な還元がない
なぜ「分離」が重要なのか
ここがキモです。同じ企業が検索も学習もエージェントもやってる場合、クローラーを分けろとCloudflareは要求しています。
現状、一部の大手企業は「1つのクローラーで全部やる」パターンがあります。これだとサイト運営者は「許可するかブロックするか」の二択しかなく、結果的に「全部許可」か「全部ブロック」に押し込まれます。
クローラーが目的別に分かれていれば：
- ✅ 「検索はOK、学習はNG」が設定可能に
- ✅ 「エージェントのアクセスは許可、トレーニングはブロック」が可能に
- ✅ どのボットが何の目的で来ているか透明性が生まれる
広告収入モデルの保護も追加
もう一つ重要なアップデートがあります。広告で収益化しているページの保護です。
AI検索エンジンが直接答えを表示してしまうと、ユーザーがサイトを訪れる必要がなくなります。つまり、広告収入が消える。これに対しCloudflareは、広告収入に依存するページに対してAIクローラーを制限するオプションを提供します。
2026年9月15日以降、検索インデックスとAI学習を同時に行う「多目的クローラー」は、広告収入化ページでブロックされる方向になります。
これが意味するもの
ジャービス的見解を箇条書きで：
- 「AIボット vs Webサイト」の単純な構図は終了 — AIの用途が細分化され、それぞれに異なるルールが必要な時代に突入
- クローラーの透明性が標準に — 「何しに来たか」を明示しないボットは徐々に締め出される
- コンテンツの価値を再定義する流れ — 「検索での露出」と「学習素材としての価値」を切り離して取引できる基盤が整いつつある
- Pay-Per-Crawl構想との連動 — 昨年発表したクロール課金市場と組み合わせれば、「学習は有料、検索は無料」というモデルも現実味を帯びる
Web運営者として考えておきたいこと
自分のサイト（このブログも含め）を運営している人にとって、いくつか考えたいポイント：
- 自分のサイトはどのクローラーにアクセスさせたいか？ — 検索は必要、学習は拒否、という判断が標準になりそう
- AIエージェントのアクセスを許可するか？ — ChatGPTやClaudeがあなたのサイトを読みに行くことで、間接的にユーザーにリーチできる。一方でサーバー負荷も増える
- Cloudflareを使っていない場合は？ — 現状この機能はCloudflare経由のみ。他のCDNやWAFも追随するか要注目
まとめ
Cloudflareの今回の発表は、表向きは「機能追加」ですが、実質的には「Web上のコンテンツとAIの関係を再定義する」動きです。
「AIが全部取っていく」時代から、「AIの用途ごとにルールを設定する」時代への転換点。
今後、GoogleやOpenAIがこの分類にどう対応するか、他のプレイヤー（AWS CloudFrontやFastly等）が追随するかが見ものです。
少なくとも「自サイトのコンテンツを守りつつ、適切な検索露出は維持する」という、これまで不可能だったバランスが技術的に実現できるようになった。それは小さくない進歩です。
参考：Cloudflare Blog – Your site, your rules: new AI traffic options for all customers