
WEB 制作・集客
公開 読了まで 約11分

「セキュリティを強くして、表示も速くしましょう。CDN とボット対策を入れておきます」。制作会社やサーバー会社から、こんな提案を受けたことはありませんか。
安心できる話ですが、設定しだいでは、Google の検索ロボット(Googlebot)まで「怪しいアクセス」として締め出すことがあります。すると、ページが検索結果に出にくくなります。
Google は2026年11月11日、検索セントラルのブログで、CDN への引っ越しで起きやすい失敗と注意点をまとめました。これをきっかけに、設定を入れたあとも Google に読まれているかを自分で確かめる手順と、業者への頼み方をまとめます。
どちらも入れるのはよいことです。困るのは、警備員が Google の検索ロボットまで追い返すときです。
Google のブログ「Moving to a CDN without overwhelming your origin (or blocking Googlebot)」(2026年11月11日)では、CDN へ移るときの失敗として、主に次の2つが挙げられています。
入れたばかりの CDN は、中継地点にまだ写しがありません(ブログでは「空のキャッシュ」)。はじめはアクセスが元のサーバーに集中し、さらに Google のクロール(ページを読みに来ること)が急に増えることもあります。ブログでは、切り替える前に写しを用意しておく(キャッシュを温める)ようすすめています。
ボットを一律に止める設定や、確認画面(CAPTCHA)を出す設定にすると、Google のクローラーも止められてしまいます。ブログでは、このとき返される「403(アクセス禁止)」や確認画面の問題が取り上げられています。そのうえで、CDN やファイアウォールの設定で「確認済みのボット(verified bots)」を許可するよう書かれています。
負荷を一時的に下げたいときは、429 や 503 という返し方を使うよう案内されています(403 との違いは後で説明します)。
CDN やボット対策を入れた日、設定を変えた日を、まずメモしておきましょう。そのうえで、数日〜1週間後に Search Console(Google が無料で出している、検索での見え方を確かめる道具)で次の3つを見ます。

左のメニューの「インデックス作成」→「ページ」を開きます。下のほうに、検索に登録されていないページの「理由」が並んでいます。
ここで、次の理由が設定を変えた日のあとに出てきた、または増えていないかを見ます。
理由をクリックすると、当てはまるページが分かります。トップページや問い合わせのページが入っていたら、すぐ業者へ伝えましょう。
画面のいちばん上の検索窓に、自社のページの URL(たとえばトップページ)を入れます。結果の画面で「公開 URL をテスト」を押すと、Google がその場でページを取りに行き、登録できる状態かどうかを確かめてくれます。
テストの結果では、Google が受け取った画面のスクリーンショットや HTTP の応答も見られます。スクリーンショットが「ロボットではありません」の確認画面なら、締め出されているしるしです。なお、このテストで取りに行くのは Google の検査用のクローラーで、Googlebot そのものではありません。テストで通っても、ボット対策の決まりによっては Googlebot だけ止まることもあるので、1の画面とあわせて見ます。テストで問題がなくても、検索に載ることまでは保証されません。このテストは、設定を変えた当日から試せます。
左のメニューの「設定」から「クロールの統計情報」を開きます。Google のヘルプでは、ページ数が 1,000 未満のサイトはこのレポートを使う必要はないとされています。ただ、設定を変えた前後の様子を見るには役に立ちます。
このレポートは、ルートレベルのプロパティ(ドメイン全体か、サイトのいちばん上の URL で登録したもの)でだけ使えます。
3つの画面で気になるものがあったら、次の表で、考えられることと頼むことを確かめます。
| 見えたもの | 考えられること | 業者に頼むこと |
|---|---|---|
| 「アクセス禁止(403)」が増えた | ボット対策が Googlebot を止めている | 確認済みのボットを許可する設定にする |
| テストのスクリーンショットが確認画面 | 確認画面(CAPTCHA)が Googlebot にも出ている | Googlebot には確認画面を出さない設定にする |
| 「サーバーエラー(5xx)」が増えた | 元のサーバーに負荷が集中している、または設定の誤り | サーバーの負荷と CDN の設定を確かめる |
| ホストのステータスに問題 | DNS やサーバー接続の設定の誤り | DNS とサーバーの設定を確かめる |
ここで大事なのが、403 と 429・503 の違いです。

Google のドキュメント「HTTP ステータス コードが Google のクローラーに及ぼす影響」では、クロールの頻度を抑えるために 401 や 403 を使わないよう書かれています。一方、429 や 5xx(503 など)は、Google に一時的にクロールのペースを落とすよう促すものです。ただし、サーバーエラーを返し続ける URL は、インデックス(検索の登録)から外されることがあります。クロールを減らす方法のページでも、500・503・429 で減らすのは1〜2日までとされています。
403 は「立ち入り禁止」、429・503 は「少し待ってください」の札です。待っての札も、出しっぱなしにはしません。
設定は業者に任せてかまいません。頼むことがはっきりしていると話が早く進みます。たとえば次のように伝えます。
ただし「Google を名乗るアクセスをすべて通す」設定はおすすめできません。Google を名乗る偽のボットもあるからです。本物かどうかの確かめ方(アクセス元の IP アドレスから、そこに付いた名前(ホスト名)を調べ、googlebot.com など Google のものかを確かめる「逆引き DNS」や、Google が公開する IP アドレスの一覧)は、Google のページで案内されています。本物だけを通す設定か、業者に聞いてみましょう。
失敗:設定を入れた日が分からず、いつから悪くなったか追えない。
直し方:業者に設定を変えた日を聞き、社内のメモに残します。次からは、変更のたびに日付をもらう約束をしておきます。
失敗:自分のパソコンでは見られるので、問題ないと思った。
直し方:人は通れても、ボットだけ止められていることがあります。「公開 URL をテスト」で、Google から見えるかを確かめます。
失敗:AI 対策のつもりで、検索ロボットまで止めた。
直し方:AI の学習を止める設定が、検索に使うロボットにも効いていないかを業者に確かめます。次の節の Cloudflare の例を見てください。
CDN とボット対策をまとめて提供するサービスの1つが Cloudflare です。設定の名前や中身は変わることがあるので、リンク先で今の内容を確かめてください。
Search Console の見方や、サーバー・CDN の設定の相談先に迷ったら、MODS BASE にご相談ください。
MODS BASE
MODS BASEは、長野県上伊那郡辰野町を拠点に、WEB 制作、WEB 集客の運用代行、UI/UX デザイン・プロダクト開発、ブランディング・グラフィック、AI 導入支援を手がけるデザイン・開発スタジオです。全国のお客様にオンラインで対応しています。
( Related )