CCBotとは？robots.txtで拒否する書き方
CCBotとは？
この記事と同じものを、あなたの会社のサイトに毎日2本。ことば選びから公開まで代行します。1日667円（税抜）から。
ほったらかし集客の料金はこちら →Common Crawlのクローラーです。誰でも使える公開データを作るために読みに来ます。多くのAIの学習データの元になっています。
読みに来るのを断る書き方
サイトの一番上に置く robots.txt に、次のように書きます。
User-agent: CCBot Disallow: /
断る前に考えること
robots.txt は読みに来るのを断るためのもので、検索結果から消すためのものではありません。他のサイトからリンクされていれば、内容を読まれないまま結果に出ることがあります。確実に出したくない場合は noindex を使います。
AI向けのクローラーを断ると、そのAIの答えに自社が出にくくなります。学習に使われたくないのか、答えに出たいのか——目的で決めてください。
出典
ここに書いたことは、上の公式文書に書かれている内容だけです。仕様は変わります。設定の前に必ず原文をご確認ください。
記事を出し続けるのが大変なら
設定そのものは一度で終わります。難しいのは、記事を出し続けることのほうです。ほったらかし集客は、検索されていることばを選び、その答えになる記事を毎日2本、あなたのサイトに代わりに公開します。1日667円（税抜）から。