robots.txtとは？｜AI検索とSEOの用語
robots.txtとは？
神奈川の経営コンサル会社さまの事例（2026年9月）
| Google検索に出た回数 | 0回 | → | 82,238回 |
|---|---|---|---|
| 無料診断への申し込み | 0件 | → | 130件 |
| 記事作りに使った時間 | — | → | 0分 |
検索の回数は直近28日、申し込みは9月1日〜30日に診断ボタンが押された件数です。記事作りはすべて当社が代行し、お客さまには月30分の確認だけをお願いしています。※当社代表は同社の社外取締役です。
まず無料で診断する →クローラー（自動でページを読みに来るプログラム）に、どこを読んでよいかを伝えるファイルです。サイトの一番上に置きます。
書き方は RFC 9309 として仕様が決まっています。読みに来るのを断るためのもので、検索結果に出さないための仕組みではありません。Googleは、検索結果から消したい場合は noindex を使うよう案内しています。
許可・不許可は User-agent ごとに書きます。
出典
この記事の内容は、上の公式文書に書かれていることだけをまとめています。仕様は変わることがあります。実際に設定する前に、必ず原文をご確認ください。
記事を出し続けるのが大変なら
ここに書いたことを毎日続けるのが、いちばん難しいところです。ほったらかし集客は、検索されていることばを選び、その答えになる記事を毎日2本、あなたのサイトに代わりに公開します。1日993円（税抜）から。