AI学習の拒否は robots.txt で選べる。検索に出なくなる失敗をしない確かめ方と決め方

先に結論：「学習」と「検索」は別々に選べる

• AI の学習に使わせるかどうかは、robots.txt で AI の会社ごとに意思表示できます。
• Google の学習を断る指定（Google-Extended）は、Google 検索への掲載や順位に影響しないと、Google が説明しています。
• ただし、強制力はありません。「お願い」の札であって、鍵ではありません。

まずは、自社の robots.txt を開いて見るところからで大丈夫です。

AI がサイトを読みに来る目的は3つ（AI クローラーの種類）

AI の会社のプログラムは、目的ごとに名前を分けています。名前が分かれているので、立て札も目的ごとに出せます。

Google-Extended とは、Google の AI の学習などに使わせるかを決めるための名前です。大事なのは Google の行です。Google 検索の AI による概要（AI Overviews）や AI モードは、ふつうの検索と同じ Googlebot で読まれます。Google-Extended を止めても、AI による概要から外れるわけではありません。

一方で、Google-Extended は Gemini アプリが答えるときの参照（グラウンディング）にもかかわります。Google は、Google-Extended をはっきり許可しているサイトは、Gemini アプリの回答に出てクリックされる対象になる、と書いています。止めると、そこで紹介される機会が減ることがあります。

OpenAI は、GPTBot と OAI-SearchBot の設定はそれぞれ独立していると説明しています。学習だけ断って、ChatGPT の検索には出す、という選び方ができます。なお ChatGPT-User は人の依頼で開くもので、robots.txt が当てはまらない場合がある、とされています。Google の、人の依頼で開くプログラムも、ふだんは robots.txt に従わないと説明されています。

まず、自社の robots.txt を開いてみる

パソコンのブラウザで、次のように入力するだけです。

1. アドレス欄に https://自社のドメイン/robots.txt と入れる（例：https://example.jp/robots.txt）。
2. 文字だけのページが出たら、それが今の立て札です。「ページが見つかりません」なら、立て札がない＝すべて読んでよい、という状態です。
3. 次の3か所を見ます。

• User-agent: * の下に Disallow: / がないか。これは「すべてのプログラムに、サイト全部を読まないで」という意味です。Google 検索にも出にくくなります。
• GPTBot や ClaudeBot などの名前があるか。名前があり、その下が Disallow: / なら、学習を断る設定がすでに入っています。
• 名前のつづり。古い名前や、つづりの違う名前は、効かないことがあります。

ホームページ作成サービス（Wix など）では、robots.txt を直接は書き換えられないことがあります。その場合は、管理画面の検索の設定や、サービスのヘルプを見てください。WordPress なら、SEO のプラグインが robots.txt を作っていることがあります。分からないときは、制作会社に「robots.txt の今の中身と、だれが管理しているか」を聞くのが早道です。

Search Console を使っているなら、robots.txt レポートも見てみましょう。Search Console は、Google が無料で出している、検索での状態を見る道具です。レポートは「設定」の中にあり、Google が robots.txt を読めているかを確かめられます。

方針は3つから選ぶ

社長と話すときは、次の3つから選んでもらうと決めやすくなります。

A：何もしない（いまのまま）

見つけてもらうことを優先するなら、これで十分です。AI の検索や回答で紹介される機会も残ります。

B：学習用の名前だけ止める

今の robots.txt の最後に、次の行を足します。検索用の Googlebot や OAI-SearchBot には触れません。

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

ここに挙げたのは3社分の例です。ほかの会社の名前は、その会社の公式の説明で確かめてから足してください。

C：社外秘の情報は、そもそも公開しない

robots.txt は「お願い」なので、従わないプログラムもあります。Google も、robots.txt は Google にページを表示させないための仕組みではない、と説明しています。見られて困る資料は、ページから外すか、パスワードで守ってください。

よくある勘違い

• 「AI による概要に出なくなるのでは？」：Google-Extended を止めても出なくなりません。AI による概要に出るかどうかは、ふつうの検索と同じ設定（Googlebot など）で決まります。
• 「止めれば完全に防げる」：防げません。従うかどうかは相手のプログラムしだいです。
• 「これまでに読まれた分も消える」：Anthropic は、ClaudeBot を止めると「今後の」内容を学習から外す合図になる、と書いています。止める効果は、基本的にこれからの分と考えてください。
• 「User-agent: * で全部まとめて止めればいい」：検索まで止まってしまいます。止めたい名前を、1つずつ書くのが安全です。

2027年に予定されている「共通の札」

2026年10月30日、Google は、複数の AI の会社に共通する「学習に使わないで」の札を robots.txt で出せるようにする計画を発表しました。国際的な標準を話し合う IETF での議論がもとです。他の AI の会社とともに、2027年の対応を目指すとしています。

Google のクローラーの説明には、user-agent: __usage_ai-training という書き方を 2027年の早い時期に扱う予定、と書かれています。Google は、この共通の札で学習を断っているサイトを、Google-Extended を止めたのと同じに扱う予定です。Google-Extended を別に書いていない場合の話です。

ただし、書き方はまだ草案の段階です。IETF の草案では、User-agent: * はこの札に当てはまらない、とされています。今すぐ書き足す必要はありません。正式に決まってから見直せば大丈夫です。

まとめ：社長への返し方

社長には、たとえばこう返せます。

返し方の例：「学習に使わせるかどうかは、会社ごとに断れます。断っても Google 検索には影響しないと Google は言っています。ただ、お願いの札なので、見られて困るものは載せないのがいちばんです。うちは A と B のどちらにしますか？」

決めたら、robots.txt の中身と決めた日を、社内のメモに残しておきましょう。2027年に共通の札が決まったとき、見直すきっかけになります。

robots.txt の確認や書き換えに迷ったら、MODS BASE にご相談ください。今の中身を一緒に見るところからお手伝いします。

参考

• Supporting a shared AI training control for websites（Google 検索セントラル ブログ、2026年10月30日）
• Google's common crawlers（Google Crawling Infrastructure）
• AI 機能とウェブサイト（Google 検索セントラル）
• robots.txt の概要とガイド（Google 検索セントラル）
• List of Google user-triggered fetchers（Google Crawling Infrastructure）
• robots.txt レポート（Search Console ヘルプ）
• Overview of OpenAI Crawlers（OpenAI）
• Does Anthropic crawl data from the web, and how can site owners block the crawler?（Claude ヘルプセンター）
• Machine-Readable Training Preference Signal（IETF に出された個人提出の草案、draft-kelley-aipref-training-preference-signal-00）