Googleのロボット - Googlebot
Googleのロボット
Googleのロボットは、Googlebot（グーグルボット）と名付けられている。
以下は古い情報であり、今となってはユーザーエージェントやIPを調査する意味が見いだせない。（2010-10-23付記）
Googlebot全般
見分け方は、ユーザーエージェントに「googlebot」が含まれているかどうかである。
ただし、Googlebotを詐称している不逞の輩がいるので注意。
IPは、66.249.64.#、66.249.66.#、66.249.71.#。
ホストは、crawl-66-249-64-#.googlebot.com、crawl-66-249-66-#.googlebot.com、crawl-66-249-71-#.googlebot.com。
Googlebotインデックス用？
主にインデックス用に巡回してきていると想像されているGooglebot。
ユーザーエージェントは、「googlebot/2.1 (+http://www.google.com/bot.html)」。
Mozilla/5.0
ユーザーエージェントは、「mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)」。
これは、おそらくリンクやページの確認のGooglebot、これにアクセスされてもインデックスされていないという情報があり、国内国外で問題になっている。
Mediapartners
ユーザーエージェントに、「mediapartners-google/2.1」を含む。
AdSense用のGooglebotといわれているが、AdSenseを設定していないページにもアクセスしている。
Imagebot
ユーザーエージェントに、「googlebot-image/1.0」を含む。
イメージ検索用のGooglebotといわれているが、イメージファイル以外にもアクセスしている。
Googlebot/2.1
ユーザーエージェントは、「googlebot/2.1」のみ。
不審なGooglebot、当管理サイトでは特定のディレクトリーに、ストーカーのようにアクセスしている。
Googlebot/Test
ユーザーエージェントは、「googlebot/test」を含む。
何かの実験用のGooglebotらしい。
サイト内検索（by Googleカスタム検索）
