Bytespiderとは？robots.txtで拒否する書き方と来訪数の実測
Bytespiderとは？
ByteDance（TikTokの運営会社）のクローラーです。ByteDanceのために読みに来ます。名乗りの中に spider-feedback@bytedance.com という連絡先が入っています。
当社の37媒体に来た回数（実測）
2026-09-29〜2026-10-01の3日間に、当社が運営する37のメディアで記録した数です。記事とデータのページを読みに来た回数だけを数えています（robots.txt・画像・サイトマップは入っていません）。どのサイトも、AIのクローラーを含めて拒否していません。
| 来た回数 | 6,274回 |
|---|---|
| 1日あたり | 2,091回 |
| 来た媒体 | 25媒体 / 37媒体 |
| ロボット全体のうち | 7.1%（3位） |
神奈川の経営コンサル会社さまの事例（2026年9月）
| Google検索に出た回数 | 0回 | → | 82,238回 |
|---|---|---|---|
| 無料診断への申し込み | 0件 | → | 130件 |
| 記事づくりに使った時間 | — | → | 0分 |
検索の回数は直近28日、申し込みは9月1日〜30日に診断ボタンが押された件数です。記事づくりはすべて当社が代行し、お客さまには月30分の確認だけをお願いしています。※当社代表は同社の社外取締役です。
まず無料で診断する →実際に届いたUser-Agent
ロボットが名乗った文字列そのままです（先頭200文字まで）。名乗りは誰でも真似できるので、本物かどうかはIPアドレスで確かめる必要があります。
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
6,274回
読みに来るのを断る書き方
サイトの一番上に置く robots.txt に、次のように書きます。
User-agent: Bytespider Disallow: /
断る前に考えること
robots.txt は読みに来るのを断るためのもので、検索結果から消すためのものではありません。他のサイトからリンクされていれば、内容を読まれないまま結果に出ることがあります。確実に出したくない場合は noindex を使います。
AI向けのクローラーを断ると、そのAIの答えに自社が出にくくなります。学習に使われたくないのか、答えに出たいのか——目的で決めてください。
出典
- ByteDance（TikTokの運営会社） の公式文書（Bytespider）：当社では公式の説明文書を見つけられていません（2026年10月時点）
- Google「robots.txt の書き方」
- RFC 9309（robots.txt の仕様）
仕様についての説明は、上の公式文書に書かれている内容だけです（来訪数は当社の計測）。仕様は変わります。設定の前に必ず原文をご確認ください。
記事を出し続けるのが大変なら
設定そのものは一度で終わります。難しいのは、記事を出し続けることのほうです。ほったらかし集客は、検索されていることばを選び、その答えになる記事を毎日2本、あなたのサイトに代わりに公開します。1日667円（税抜）から。