Googlebotとは？robots.txtで拒否する書き方と来訪数の実測
Googlebotとは？
Googleのクローラーです。Google検索の索引を作るために読みに来ます。断ると検索に出なくなります。
当社の100媒体に来た回数（実測）
2026-09-29〜2026-11-13の46日間に、当社が運営する100のメディアで記録した数です。記事とデータのページを読みに来た回数だけを数えています（robots.txt・画像・サイトマップは入っていません）。どのサイトも、AIのクローラーを含めて拒否していません。
| 来た回数 | 883,932回 |
|---|---|
| 1日あたり | 19,215回 |
| 来た媒体 | 89媒体 / 100媒体 |
| ロボット全体のうち | 7.7%（4位） |
神奈川の経営コンサル会社さまの事例（2026年9月）
| Google検索に出た回数 | 0回 | → | 82,238回 |
|---|---|---|---|
| 無料診断への申し込み | 0件 | → | 130件 |
| 記事作りに使った時間 | — | → | 0分 |
検索の回数は直近28日、申し込みは9月1日〜30日に診断ボタンが押された件数です。記事作りはすべて当社が代行し、お客さまには月30分の確認だけをお願いしています。※当社代表は同社の社外取締役です。
まず無料で診断する →実際に届いたUser-Agent
ロボットが名乗った文字列そのままです（先頭200文字まで）。名乗りは誰でも真似できるので、本物かどうかはIPアドレスで確かめる必要があります。
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/153.0.8010.52 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
817,602回
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/157.0.8103.38 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
19,087回
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/155.0.8059.84 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
14,301回
読みに来るのを断る書き方
サイトの一番上に置く robots.txt に、次のように書きます。
User-agent: Googlebot Disallow: /
断る前に考えること
robots.txt は読みに来るのを断るためのもので、検索結果から消すためのものではありません。他のサイトからリンクされていれば、内容を読まれないまま結果に出ることがあります。確実に出したくない場合は noindex を使います。
AI向けのクローラーを断ると、そのAIの答えに自社が出にくくなります。学習に使われたくないのか、答えに出たいのか——目的で決めてください。
出典
仕様についての説明は、上の公式文書に書かれている内容だけです（来訪数は当社の計測）。仕様は変わります。設定の前に必ず原文をご確認ください。
記事を出し続けるのが大変なら
設定そのものは一度で終わります。難しいのは、記事を出し続けることのほうです。ほったらかし集客は、検索されていることばを選び、その答えになる記事を毎日2本、あなたのサイトに代わりに公開します。1日993円（税抜）から。