robots.txtとは？｜AI検索とSEOの用語
robots.txtとは？
この記事と同じものを、あなたの会社のサイトに毎日2本。ことば選びから公開まで代行します。1日667円（税抜）から。
ほったらかし集客の料金はこちら →クローラー（自動でページを読みに来るプログラム）に、どこを読んでよいかを伝えるファイルです。サイトの一番上に置きます。
書き方は RFC 9309 として仕様が決まっています。読みに来るのを断るためのもので、検索結果に出さないための仕組みではありません。Googleは、検索結果から消したい場合は noindex を使うよう案内しています。
許可・不許可は User-agent ごとに書きます。
出典
この記事の内容は、上の公式文書に書かれていることだけをまとめています。仕様は変わることがあります。実際に設定する前に、必ず原文をご確認ください。
記事を出し続けるのが大変なら
ここに書いたことを毎日続けるのが、いちばん難しいところです。ほったらかし集客は、検索されていることばを選び、その答えになる記事を毎日2本、あなたのサイトに代わりに公開します。1日667円（税抜）から。