検索エンジンのロボット(クローラ、スパイダー)

ロボット(Googlebot、Yahoo! Slurp、MSNBot)について

Google対Yahoo!対MSN

[ 管理人編集 ]

検索エンジンのロボット(クローラ、スパイダー)

検索エンジンのロボットの巡回を確認する

ロボットの巡回は、サーバの生ログなどを見る。

CGIやJavaScriptで動くアクセス解析ツールには、ロボットは痕跡を残さないので、SSI方式のものを用意する。

ロボットの意味

検索エンジンは、カテゴリー型とロボット型に区別され、カテゴリー型の代表は「Yahoo!カテゴリとの一致」に表示されるような「Yahoo!登録サイト」などであり、サイトのオーナーなどが登録を申請する。

これに対して、Googleなどのロボット型検索エンジンでは、申請するのではなく、ロボットが巡回し登録するようになっている。
よって、ロボットが巡回してこない限り、ロボット型検索エンジンに登録もされないし、ページが検索されることもない。

ロボットは、クローラ(Crawler)あるいはスパイダー(Spider)とも言われている。

Googleのロボット

Googleのロボットは、Googlebot(グーグルボット)と名付けられている。

コンテンツは、Googleのロボット - Googlebotへ移転。

Yahoo!のロボット

Yahoo!のロボットは、一般的にはYahoo! Slurp(ヤフースラープ)と言われる。が、それ以外もある。

コンテンツは、Yahoo!(YST)のロボット - Yahoo! Slurpほかへ移転。

新MSNのロボット

新MSNとは、2005-02-01から英語圏を中心に、2005-06-25から日本で正式稼動した、Microsoftの独自検索エンジン。この新MSN のロボットはMSNBotという。

ユーザーエージェントは、 「msnbot/0.11」、「msnbot/0.3」、「msnbot/1.0」。

コンテンツは、MSNサーチのロボット - MSNBotへ移転。

参照

robots.txt メタタグrobots

他の検索エンジンのロボットは

WEB雑記2 USER-AGENT(サイトを訪れるユーザーエージェントについて)

Robot Agent Strings (ASCII Tab-delimited).

HTTPステータスコード

  • 66.196.101.93 - - [27/Jun/2004:01:39:11 +0900] "GET /se3blog HTTP/1.0" 301 317 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
  • 66.196.101.93 - - [27/Jun/2004:01:39:30 +0900] "GET /se3blog/ HTTP/1.0" 200 44460 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
  • 上記ログの「301」や「200」の箇所は、HTTPステータスコードという。「200」「301」「302」「304」「401」「404」などと記録される。

HTTPステータス・コードHTTPステータスコードを参照のこと。

ステータス・コード 意味
200 OK ロボットのファイル取得
301 Moved Permanently 恒久的に別のアドレスへ移動
302 Moved Temporarily 一時的に別のアドレスに移動
304 Not Modified 未更新
401 Unauthorized 認証が必要
404 Not Found ページなし

マニュアルとセミナーで、コンサルティングとセルフSEO。株式会社アルゴリズム運営のSEO塾

Yahoo!で突然、順位がダウンした! トップページが消えた!!
Googleで、何をやっても順位が上がらない! ディレクトリ丸ごとページが検索されなくなった!!

SEO業者にまかせていたのに、ペナルティを受けてしまった!
SEO業者のリンク集一括登録や、有料リンクも効果なし!!

最高最強最新のSEO、SEO塾のGoogle上位表示は、失敗しない「SEO対策」を提供します。



© 2009 ヤフーの変動リカバリーとグーグルの順位アップなら、SEO塾/(株)アルゴリズムの検索エンジン対策

株式会社アルゴリズム運営のSEO塾