Bingbotとは?robots.txtで拒否する書き方
Bingbotとは?
この記事と同じものを、あなたの会社のサイトに毎日2本。ことば選びから公開まで代行します。1日667円(税抜)から。
ほったらかし集客の料金はこちら →Microsoftのクローラーです。Bing検索の索引を作るために読みに来ます。
読みに来るのを断る書き方
サイトの一番上に置く robots.txt に、次のように書きます。
User-agent: bingbot Disallow: /
断る前に考えること
robots.txt は読みに来るのを断るためのもので、検索結果から消すためのものではありません。他のサイトからリンクされていれば、内容を読まれないまま結果に出ることがあります。確実に出したくない場合は noindex を使います。
AI向けのクローラーを断ると、そのAIの答えに自社が出にくくなります。学習に使われたくないのか、答えに出たいのか——目的で決めてください。
出典
ここに書いたことは、上の公式文書に書かれている内容だけです。仕様は変わります。設定の前に必ず原文をご確認ください。
記事を出し続けるのが大変なら
設定そのものは一度で終わります。難しいのは、記事を出し続けることのほうです。ほったらかし集客は、検索されていることばを選び、その答えになる記事を毎日2本、あなたのサイトに代わりに公開します。1日667円(税抜)から。