CRAWLER DIRECTORY / 10 PROFILES

BOT図鑑と
観測速報。

主要なクローラーやAIエージェントの用途を、公式資料へのリンクとともに紹介します。このサイトに届いたUser-Agentの名乗りも表示します。

Explore sourced crawler profiles and the requests claiming their User-Agent tokens observed by this service. Claims are not verified identities.

個別BOTの集計開始: 2026-11-03T15:37:13.850Z。それ以前の運営元別データは個別BOTに振り分けられません。

BOTの用途と公式情報の比較

BOT	運営者	用途	出典
GPTBot	OpenAI	AI training crawler AIモデルの開発に利用され得るWebコンテンツを収集します。	公式資料 ↗
OAI-SearchBot	OpenAI	AI search crawler ChatGPTの検索機能に表示するWeb情報を収集します。	公式資料 ↗
ChatGPT-User	OpenAI	User-initiated fetcher 利用者がChatGPTなどで依頼した操作に応じてWebページを取得します。	公式資料 ↗
OAI-AdsBot	OpenAI	Advertising review ChatGPTの広告として提出されたWebページの安全性などを確認します。	公式資料 ↗
ClaudeBot	Anthropic	AI training crawler 生成AIモデルの学習に利用され得るWebコンテンツを収集します。	公式資料 ↗
Claude-SearchBot	Anthropic	AI search crawler 検索結果の関連性や品質を改善するためWeb情報を収集します。	公式資料 ↗
Claude-User	Anthropic	User-initiated fetcher 利用者の質問に応じ、指示されたWebページを取得します。	公式資料 ↗
Googlebot	Google	Search crawler Google検索のインデックスを作成・更新するためWebページを巡回します。	公式資料 ↗
Googlebot Image	Google	Image crawler Google画像検索などのために画像を巡回します。	公式資料 ↗
GoogleOther	Google	General crawler Googleの製品チームが利用する一般的なWebクローラーです。	公式資料 ↗