本文へ移動
WEB 制作・集客

Cloudflare など CDN・ボット対策で Googlebot をブロックしていない? Search Console での確認方法と業者への頼み方

公開 読了まで 約11分

( この記事の要点 )

  1. CDN やボット対策は、設定しだいで Google の検索ロボット(Googlebot)まで締め出すことがあります。
  2. 設定を変えた日をメモし、Search Console で「ページのインデックス登録」「公開 URL をテスト」「クロールの統計情報」を見ます。
  3. 業者には「確認済みのボットは止めない」「負荷を抑えるときは 403 ではなく 429・503 を短い期間だけ」と伝えます。
( Contents ) — 14

「セキュリティを強くして、表示も速くしましょう。CDN とボット対策を入れておきます」。制作会社やサーバー会社から、こんな提案を受けたことはありませんか。

安心できる話ですが、設定しだいでは、Google の検索ロボット(Googlebot)まで「怪しいアクセス」として締め出すことがあります。すると、ページが検索結果に出にくくなります。

Google は2026年11月11日、検索セントラルのブログで、CDN への引っ越しで起きやすい失敗と注意点をまとめました。これをきっかけに、設定を入れたあとも Google に読まれているかを自分で確かめる手順と、業者への頼み方をまとめます。

CDN とボット対策(WAF)とは

  • CDN:ホームページの写しを各地の中継地点に置き、近くから届けて表示を速くする仕組みです。本店の商品を支店にも並べておくようなものです。
  • WAF・ボット対策:怪しいアクセスを入口で止める仕組みです。お店の警備員にあたり、機械的なアクセス(ボット)を止めたり、「ロボットではありません」の確認画面を出したりします。

どちらも入れるのはよいことです。困るのは、警備員が Google の検索ロボットまで追い返すときです。

Google が注意した2つの失敗

Google のブログ「Moving to a CDN without overwhelming your origin (or blocking Googlebot)」(2026年11月11日)では、CDN へ移るときの失敗として、主に次の2つが挙げられています。

1. 引っ越し直後に、元のサーバーに負荷が集中する

入れたばかりの CDN は、中継地点にまだ写しがありません(ブログでは「空のキャッシュ」)。はじめはアクセスが元のサーバーに集中し、さらに Google のクロール(ページを読みに来ること)が急に増えることもあります。ブログでは、切り替える前に写しを用意しておく(キャッシュを温める)ようすすめています。

2. 一律のボット対策で、Googlebot を締め出す

ボットを一律に止める設定や、確認画面(CAPTCHA)を出す設定にすると、Google のクローラーも止められてしまいます。ブログでは、このとき返される「403(アクセス禁止)」や確認画面の問題が取り上げられています。そのうえで、CDN やファイアウォールの設定で「確認済みのボット(verified bots)」を許可するよう書かれています。

負荷を一時的に下げたいときは、429 や 503 という返し方を使うよう案内されています(403 との違いは後で説明します)。

まずこれだけ:設定を変えたあとに見る3つの画面

CDN やボット対策を入れた日、設定を変えた日を、まずメモしておきましょう。そのうえで、数日〜1週間後に Search Console(Google が無料で出している、検索での見え方を確かめる道具)で次の3つを見ます。

設定を変えたあとに見る3つの画面の図。「設定を変えた日」から点線で「数日〜1週間後」へ進み、その下に「1 ページのインデックス登録:403・5xx が増えていないか」「2 公開 URL をテスト:Google から見えるか」「3 クロールの統計情報:応答の内訳・サーバーの状態」
設定を変えた日をメモし、数日〜1週間後にこの3つの画面を見ます

1. ページのインデックス登録:理由の一覧に「403」「5xx」が増えていないか

左のメニューの「インデックス作成」→「ページ」を開きます。下のほうに、検索に登録されていないページの「理由」が並んでいます。

ここで、次の理由が設定を変えた日のあとに出てきた、または増えていないかを見ます。

  • 「アクセス禁止(403)が原因でブロックされました」
  • 「サーバーエラー(5xx)」
  • 「他の 4xx の問題が原因で、URL がブロックされました」

理由をクリックすると、当てはまるページが分かります。トップページや問い合わせのページが入っていたら、すぐ業者へ伝えましょう。

2. URL 検査の「公開 URL をテスト」:Google が今そのページを取りに行けるか

画面のいちばん上の検索窓に、自社のページの URL(たとえばトップページ)を入れます。結果の画面で「公開 URL をテスト」を押すと、Google がその場でページを取りに行き、登録できる状態かどうかを確かめてくれます。

テストの結果では、Google が受け取った画面のスクリーンショットや HTTP の応答も見られます。スクリーンショットが「ロボットではありません」の確認画面なら、締め出されているしるしです。なお、このテストで取りに行くのは Google の検査用のクローラーで、Googlebot そのものではありません。テストで通っても、ボット対策の決まりによっては Googlebot だけ止まることもあるので、1の画面とあわせて見ます。テストで問題がなくても、検索に載ることまでは保証されません。このテストは、設定を変えた当日から試せます。

3. クロールの統計情報:応答の内訳とサーバーの状態(ページが多いサイト向け)

左のメニューの「設定」から「クロールの統計情報」を開きます。Google のヘルプでは、ページ数が 1,000 未満のサイトはこのレポートを使う必要はないとされています。ただ、設定を変えた前後の様子を見るには役に立ちます。

  • レスポンス別:Google のクロールへの応答の内訳です。正常な応答(200)以外の割合が、設定を変えた日から増えていないかを見ます。
  • ホストのステータス:robots.txt の取得、DNS の解決、サーバー接続の3つに問題がないかが出ます。

このレポートは、ルートレベルのプロパティ(ドメイン全体か、サイトのいちばん上の URL で登録したもの)でだけ使えます。

おかしいときの見分け方

3つの画面で気になるものがあったら、次の表で、考えられることと頼むことを確かめます。

見えたもの考えられること業者に頼むこと
「アクセス禁止(403)」が増えたボット対策が Googlebot を止めている確認済みのボットを許可する設定にする
テストのスクリーンショットが確認画面確認画面(CAPTCHA)が Googlebot にも出ているGooglebot には確認画面を出さない設定にする
「サーバーエラー(5xx)」が増えた元のサーバーに負荷が集中している、または設定の誤りサーバーの負荷と CDN の設定を確かめる
ホストのステータスに問題DNS やサーバー接続の設定の誤りDNS とサーバーの設定を確かめる

ここで大事なのが、403 と 429・503 の違いです。

2枚の札の比較。左の墨の札は「403 立ち入り禁止」で、下に「締め出す」「頻度の調整に使わない」。右の白い札は「429 / 503 少し待って」で、下に「一時的にペースを落とす」「1〜2日まで」
403 は「立ち入り禁止」、429・503 は「少し待って」の札

Google のドキュメント「HTTP ステータス コードが Google のクローラーに及ぼす影響」では、クロールの頻度を抑えるために 401 や 403 を使わないよう書かれています。一方、429 や 5xx(503 など)は、Google に一時的にクロールのペースを落とすよう促すものです。ただし、サーバーエラーを返し続ける URL は、インデックス(検索の登録)から外されることがあります。クロールを減らす方法のページでも、500・503・429 で減らすのは1〜2日までとされています。

403 は「立ち入り禁止」、429・503 は「少し待ってください」の札です。待っての札も、出しっぱなしにはしません。

業者への頼み方

設定は業者に任せてかまいません。頼むことがはっきりしていると話が早く進みます。たとえば次のように伝えます。

  1. Google の検索ロボット(Googlebot)など、確認済みのボットは止めない設定にしてください。
  2. ボット対策の確認画面(CAPTCHA)が、Googlebot に出ないようにしてください。
  3. 負荷を抑えるときは 403 ではなく 429 か 503 を使い、使うのは短い期間(長くても1〜2日)にしてください。
  4. 設定を変えた日を教えてください。こちらで Search Console を確かめます。

ただし「Google を名乗るアクセスをすべて通す」設定はおすすめできません。Google を名乗る偽のボットもあるからです。本物かどうかの確かめ方(アクセス元の IP アドレスから、そこに付いた名前(ホスト名)を調べ、googlebot.com など Google のものかを確かめる「逆引き DNS」や、Google が公開する IP アドレスの一覧)は、Google のページで案内されています。本物だけを通す設定か、業者に聞いてみましょう。

よくある失敗と直し方

失敗:設定を入れた日が分からず、いつから悪くなったか追えない。
直し方:業者に設定を変えた日を聞き、社内のメモに残します。次からは、変更のたびに日付をもらう約束をしておきます。

失敗:自分のパソコンでは見られるので、問題ないと思った。
直し方:人は通れても、ボットだけ止められていることがあります。「公開 URL をテスト」で、Google から見えるかを確かめます。

失敗:AI 対策のつもりで、検索ロボットまで止めた。
直し方:AI の学習を止める設定が、検索に使うロボットにも効いていないかを業者に確かめます。次の節の Cloudflare の例を見てください。

Cloudflare を使っている場合の注意(2026年11月時点)

CDN とボット対策をまとめて提供するサービスの1つが Cloudflare です。設定の名前や中身は変わることがあるので、リンク先で今の内容を確かめてください。

  • Cloudflare のドキュメントでは、確認済みのボット(Verified bots)は、これまですべてのプランの既定のボット設定で対象外とされてきたと書かれています。今は AI のクローラーなどの扱いを個別に決められる設定も加わっているので、今の設定を業者に確かめてもらいましょう。
  • Pro・Business・Enterprise のプランで使える Super Bot Fight Mode では、確認済みのボットをどう扱うか(許可するなど)を選べます。
  • AI のクローラーの設定(学習=Training。以前の「Block AI Bots」に代わる設定)で「Block」や「Block on pages with ads」を選ぶと、検索と学習の両方に使うクローラーにも及びます。Cloudflare のブログ(2026年9月15日)でも、「Block」を選ぶと Googlebot なども止まり、検索にも影響すると説明されています。検索には影響させずに、robots.txt で学習に使わないよう伝える「Disallow」という選択肢もあります(従うかはクローラーしだいです)。どれを使うかは、業者とよく相談してください。

まとめ

  • CDN やボット対策は、設定しだいで Google の検索ロボットまで締め出すことがあります。
  • 設定を変えた日をメモし、数日〜1週間後に Search Console で「ページのインデックス登録」「公開 URL をテスト」「クロールの統計情報」の3つを見ます。
  • 業者には「確認済みのボットは止めない」「負荷を抑えるときは 403 ではなく 429・503 を短い期間だけ」と伝えます。

Search Console の見方や、サーバー・CDN の設定の相談先に迷ったら、MODS BASE にご相談ください。

( Written by )

MODS BASE

MODS BASEは、長野県上伊那郡辰野町を拠点に、WEB 制作、WEB 集客の運用代行、UI/UX デザイン・プロダクト開発、ブランディング・グラフィック、AI 導入支援を手がけるデザイン・開発スタジオです。全国のお客様にオンラインで対応しています。

( Related service )

WEB 制作

何を伝え、どう動いてもらうか。UX の設計から考えるホームページ制作。

( Related )

関連記事

( Contact )

Let’s talk.

まだ決まっていなくても大丈夫です。気になっていることから、気軽にお聞かせください。