[ 管理人編集 ]
Googleのロボット - Googlebot
Googleのロボット
Googleのロボットは、Googlebot（グーグルボット）と名付けられている。
Googlebot全般
見分け方は、ユーザーエージェントに「googlebot」が含まれているかどうかである。
ただし、Googlebotを詐称している不逞の輩がいるので注意。
IPは、66.249.64.#、66.249.66.#、66.249.71.#。
ホストは、crawl-66-249-64-#.googlebot.com、crawl-66-249-66-#.googlebot.com、crawl-66-249-71-#.googlebot.com。
Googlebotインデックス用？
主にインデックス用に巡回してきていると想像されているGooglebot。
ユーザーエージェントは、「googlebot/2.1 (+http://www.google.com/bot.html)」。
Mozilla/5.0
ユーザーエージェントは、「mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)」。
これは、おそらくリンクやページの確認のGooglebot、これにアクセスされてもインデックスされていないという情報があり、国内国外で問題になっている。
Mediapartners
ユーザーエージェントに、「mediapartners-google/2.1」を含む。
AdSense用のGooglebotといわれているが、AdSenseを設定していないページにもアクセスしている。
Imagebot
ユーザーエージェントに、「googlebot-image/1.0」を含む。
イメージ検索用のGooglebotといわれているが、イメージファイル以外にもアクセスしている。
Googlebot/2.1
ユーザーエージェントは、「googlebot/2.1」のみ。
不審なGooglebot、当管理サイトでは特定のディレクトリに、ストーカーのようにアクセスしている。
Googlebot/Test
ユーザーエージェントは、「googlebot/test」を含む。
何かの実験用のGooglebotらしい。
