検索エンジンのロボット(クローラー、スパイダー)

検索エンジンのロボット(クローラー、スパイダー)

Yahoo!はGoogleエンジンに、msnはBingに。時は流れる…

検索エンジンのロボットの巡回を確認する

ロボットの巡回は、サーバーの生ログなどを見る。

CGIやJavaScriptで動くアクセス解析ツールには、ロボットは痕跡を残さないので、SSI方式のものを用意する。

ロボットの意味

検索エンジンは、カテゴリー型とロボット型に区別され、カテゴリー型の代表は「Yahoo!カテゴリとの一致」に表示されるような「Yahoo!登録サイト」などであり、サイトのオーナーなどが登録を申請する。

これに対して、Googleなどのロボット型検索エンジンでは、申請するのではなく、ロボットが巡回し登録するようになっている。
よって、ロボットが巡回してこない限り、ロボット型検索エンジンに登録もされないし、ページが検索されることもない。

ロボットは、クローラー（Crawler）あるいはスパイダー（Spider）とも言われている。

Googleのロボット

Googleのロボットは、Googlebot（グーグルボット）と名付けられている。

コンテンツは、Googleのロボット - Googlebotへ移転。

Yahoo!のロボット

Yahoo!のロボットは、一般的にはYahoo! Slurp（ヤフースラープ）と言われる。が、それ以外もある。

アメリカYahoo!の検索はBingに、日本Yahoo!の検索はGoogleに切り替わったため、Yahoo!のロボットも消滅。

Bingのロボット

bingbot。Microsoftの検索エンジンBingのロボット、クローラー、スパイダー。

ユーザーエージェントは、

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

参照

robots.txt　メタタグrobots

他の検索エンジンのロボットは

ＷＥＢ雑記2　USER-AGENT（サイトを訪れるユーザーエージェントについて）

Robot Agent Strings (ASCII Tab-delimited).

HTTPステータスコード

• 66.196.101.93 - - [27/Jun/2004:01:39:11 +0900] "GET /se3blog HTTP/1.0" 301 317 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
• 66.196.101.93 - - [27/Jun/2004:01:39:30 +0900] "GET /se3blog/ HTTP/1.0" 200 44460 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
• 上記ログの「301」や「200」の箇所は、HTTPステータスコードという。「200」「301」「302」「304」「401」「404」などと記録される。

HTTPステータス・コードやHTTPステータスコードを参照のこと。

	ステータス・コード	意味
200	OK	ロボットのファイル取得
301	Moved Permanently	恒久的に別のアドレスへ移動
302	Moved Temporarily	一時的に別のアドレスに移動
304	Not Modified	未更新
401	Unauthorized	認証が必要
404	Not Found	ページなし

ページの一番上へ

サイト内検索（by Googleカスタム検索）