ホーム › SEO・AIOの辞典とホームページ調査 › クローラー
クローラーの分類一覧
クローラーの分類39件。schema.org の公式語彙ファイル・Google/各社の公式文書（2026年9月時点）。
AI・検索のクローラー一覧とrobots.txtの書き方｜出典つき
AI・検索のクローラー一覧とrobots.txtの書き方を38件まとめました。公式文書の出典と、当社85媒体での来訪数の実測つき。
GPTBotとは？robots.txtで拒否する書き方と来訪数の実測
GPTBotはOpenAIのクローラーです。当社100媒体に46日で753,363回来ました。ChatGPTの学習に使うために読みに来ます。
OAI-SearchBotとは？robots.txtで拒否する書き方と来訪数の実測
OAI-SearchBotはOpenAIのクローラーです。当社100媒体に46日で31,174回来ました。ChatGPTの検索機能で、答えの
ChatGPT-Userとは？robots.txtで拒否する書き方と来訪数の実測
ChatGPT-UserはOpenAIのクローラーです。当社100媒体に46日で9,982回来ました。利用者がChatGPTにURLを渡した
ClaudeBotとは？robots.txtで拒否する書き方と来訪数の実測
ClaudeBotはAnthropicのクローラーです。当社100媒体に46日で1,042,641回来ました。Claudeのために読みに来ま
PerplexityBotとは？robots.txtで拒否する書き方と来訪数の実測
PerplexityBotはPerplexityのクローラーです。当社100媒体に46日で181,971回来ました。Perplexityの検
Googlebotとは？robots.txtで拒否する書き方と来訪数の実測
GooglebotはGoogleのクローラーです。当社100媒体に46日で883,932回来ました。Google検索の索引を作るために読みに
Google-Extendedとは？robots.txtで拒否する書き方と来訪数の実測
Google-ExtendedはGoogleのクローラーです。GeminiなどのAIに使うかどうかの指定です。断っても検索順位には影響しない
Bingbotとは？robots.txtで拒否する書き方と来訪数の実測
BingbotはMicrosoftのクローラーです。当社100媒体に46日で433,941回来ました。Bing検索の索引を作るために読みに来
Applebotとは？robots.txtで拒否する書き方と来訪数の実測
ApplebotはAppleのクローラーです。当社100媒体に46日で621,272回来ました。Siriやスポットライト検索のために読みに来
Amazonbotとは？robots.txtで拒否する書き方と来訪数の実測
AmazonbotはAmazonのクローラーです。当社100媒体に46日で1,480,704回来ました。Alexaなどのために読みに来ます。
CCBotとは？robots.txtで拒否する書き方と来訪数の実測
CCBotはCommon Crawlのクローラーです。当社100媒体に46日で642回来ました。誰でも使える公開データを作るために読みに来ま
meta-externalagentとは？robots.txtで拒否する書き方と来訪数の実測
meta-externalagentはMetaのクローラーです。当社100媒体に46日で323,155回来ました。MetaのAIのために読み
Claude-Userとは？robots.txtで拒否する書き方と来訪数の実測
Claude-UserはAnthropicのクローラーです。当社100媒体に46日で143回来ました。利用者がClaudeにURLを渡したと
Bytespiderとは？robots.txtで拒否する書き方と来訪数の実測
BytespiderはByteDance（TikTokの運営会社）のクローラーです。当社100媒体に46日で121,069回来ました。Byt
SemrushBotとは？robots.txtで拒否する書き方と来訪数の実測
SemrushBotはSemrushのクローラーです。当社100媒体に46日で2,130,874回来ました。SEOツールSemrushのデー
AhrefsBotとは？robots.txtで拒否する書き方と来訪数の実測
AhrefsBotはAhrefsのクローラーです。当社100媒体に46日で53,063回来ました。SEOツールAhrefsの被リンクデータな
YandexBotとは？robots.txtで拒否する書き方と来訪数の実測
YandexBotはYandexのクローラーです。当社100媒体に46日で42,227回来ました。ロシアの検索エンジンYandexの索引を作
PetalBotとは？robots.txtで拒否する書き方と来訪数の実測
PetalBotはHuawei（Petal検索）のクローラーです。当社100媒体に46日で36,932回来ました。HuaweiのPetal検
DuckDuckBotとは？robots.txtで拒否する書き方と来訪数の実測
DuckDuckBotはDuckDuckGoのクローラーです。当社100媒体に46日で101回来ました。DuckDuckGoの検索のために読
AdsBot-Googleとは？robots.txtで拒否する書き方と来訪数の実測
AdsBot-GoogleはGoogleのクローラーです。当社100媒体に46日で945回来ました。Google広告のリンク先ページの品質を
KeenableBotとは？robots.txtで拒否する書き方と来訪数の実測
KeenableBotはKeenable.ai, Inc.のクローラーです。当社100媒体に46日で510,942回来ました。AIエージェン
DataForSeoBotとは？robots.txtで拒否する書き方と来訪数の実測
DataForSeoBotはDataForSEOのクローラーです。当社100媒体に46日で876,522回来ました。サイトのページを巡回し、
ShapBotとは？robots.txtで拒否する書き方と来訪数の実測
ShapBotはParallel Web Systemsのクローラーです。当社100媒体に46日で235,527回来ました。公開されているウ
GoogleOtherとは？robots.txtで拒否する書き方と来訪数の実測
GoogleOtherはGoogleのクローラーです。当社100媒体に46日で113,172回来ました。Googleの各製品チームが、公開さ
MJ12botとは？robots.txtで拒否する書き方と来訪数の実測
MJ12botはMajestic-12 Ltd（Majestic）のクローラーです。当社100媒体に46日で100,097回来ました。サイト
SERankingBacklinksBotとは？robots.txtで拒否する書き方と来訪数の実測
SERankingBacklinksBotはSE Rankingのクローラーです。当社100媒体に46日で190,122回来ました。サイト同
Reflectionbotとは？robots.txtで拒否する書き方と来訪数の実測
ReflectionbotはReflection AIのクローラーです。当社100媒体に46日で272,061回来ました。Reflectio
ExaSearchBotとは？robots.txtで拒否する書き方と来訪数の実測
ExaSearchBotはExaのクローラーです。当社100媒体に46日で77,538回来ました。公開ウェブのページを取得し、検索エンジンE
Baiduspiderとは？robots.txtで拒否する書き方と来訪数の実測
BaiduspiderはBaidu（百度）のクローラーです。当社100媒体に46日で11,079回来ました。中国の検索エンジン百度が、サイト
facebookexternalhitとは？robots.txtで拒否する書き方と来訪数の実測
facebookexternalhitはMetaのクローラーです。当社100媒体に46日で1,240回来ました。Facebook・Insta
DuckAssistBotとは？robots.txtで拒否する書き方と来訪数の実測
DuckAssistBotはDuckDuckGoのクローラーです。当社100媒体に46日で77回来ました。DuckDuckGoのAI回答（出
YouBotとは？robots.txtで拒否する書き方と来訪数の実測
YouBotはYou.comのクローラーです。当社100媒体に46日で255回来ました。You.comの検索エンジンが新しい結果を出せるよう
Slackbotとは？robots.txtで拒否する書き方と来訪数の実測
SlackbotはSlackのクローラーです。当社100媒体に46日で64回来ました。Slackにリンクが貼られたとき、プレビュー用の情報を
Google-InspectionToolとは？robots.txtで拒否する書き方と来訪数の実測
Google-InspectionToolはGoogleのクローラーです。当社100媒体に46日で18回来ました。Search Consol
Qwantbotとは？robots.txtで拒否する書き方と来訪数の実測
QwantbotはQwantのクローラーです。当社100媒体に46日で10回来ました。検索エンジンQwantの索引を作り、新しく保つために、
DotBotとは？robots.txtで拒否する書き方と来訪数の実測
DotBotはMozのクローラーです。当社100媒体に46日で64,717回来ました。Mozのリンク情報（Link Explorer・Moz
serpstatbotとは？robots.txtで拒否する書き方と来訪数の実測
serpstatbotはSerpstatのクローラーです。当社100媒体に46日で2,876回来ました。新しいリンクを見つけ、Serpsta
SofyaBotとは？robots.txtで拒否する書き方と来訪数の実測
SofyaBotはSofyaのクローラーです。当社100媒体に46日で1,786回来ました。Sofya独自の検索インデックス（search.
神奈川の経営コンサル会社さまの事例（2026年9月）
| Google検索に出た回数 | 0回 | → | 82,238回 |
|---|---|---|---|
| 無料診断への申し込み | 0件 | → | 130件 |
| 記事作りに使った時間 | — | → | 0分 |
検索の回数は直近28日、申し込みは9月1日〜30日に診断ボタンが押された件数です。記事作りはすべて当社が代行し、お客さまには月30分の確認だけをお願いしています。※当社代表は同社の社外取締役です。
まず無料で診断する →