[ 管理人編集 ]
Yahoo!(YST)のロボット - Yahoo! Slurpほか
Yahoo!のロボット
Yahoo!からと思われるロボットの一覧である。
実は、Yahoo!のロボットはYahoo! Slurpだけではない。また、実に分かりにくい巡回パターンになっている。しかもGooglebotとは違って、304（未更新）を返して帰るケースが非常に多い。
想像されるのは、インデックスのため、ハブページからのリンク先確認のため、あるいは単なる存在確認のために巡回しているかもしれないことである。
下記のように多くの種類があって、しかも巡回パターンも多岐多様ということは、YSTのアルゴリズムもそれだけ複雑ということである。
dj系
| IP | ホスト |
|---|---|
| 66.196.67.95 | dj1000.inktomisearch.com |
| 66.196.97.67 | dj5000.inktomisearch.com |
ユーザーエージェントは、次の二つ。
- Mozilla/5.0 (compatible; Yahoo! DE Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
- Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
巡回パターンは、Yahoo! JAPANのカテゴリ登録サイトのトップのみ。あとはrobots.txt。
fj系
| IP | ホスト |
|---|---|
| 66.196.91.# | fj1###.inktomisearch.com |
| 66.196.101.# | fj5###.inktomisearch.com |
| 202.165.98.# | fj9###.inktomisearch.com |
ユーザーエージェントは、Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
lj系
| IP | ホスト | ||
|---|---|---|---|
| 66.196.90.# | lj1###.inktomisearch.com | ～ | lj123#.inktomisearch.com |
| 66.196.91.# | lj124#.inktomisearch.com | ～ | lj13##.inktomisearch.com |
| 68.142.249.# | lj20##.inktomisearch.com | ～ | lj21##.inktomisearch.com |
| 68.142.250.# | lj22##.inktomisearch.com | ～ | lj23##.inktomisearch.com |
| 68.142.251.# | lj24##.inktomisearch.com | ～ | lj25##.inktomisearch.com |
ユーザーエージェントは、Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
IPは、fj系とlj系で66.196.91.が被っている。
当管理サイトだけのことかもしれないが、lj系の巡回量は莫大である。さらにGETしてはいても、インデックスにつながっていないケースも多々見られるようだ。
yst.corp系
| IP | ホスト |
|---|---|
| 66.228.164.42 | d2025.yst.corp.yahoo.com |
| 66.228.164.90 | cdev2001.yst.corp.yahoo.com |
| 66.228.164.115 | g1006.yst.corp.yahoo.com |
| 66.228.164.148 | i18ndev4.yst.corp.yahoo.com |
| 66.228.164.151 | i18ndev7.yst.corp.yahoo.com |
| 66.228.164.155 | i18ndev11.yst.corp.yahoo.com |
| 66.228.164.140 | rtools2.yst.corp.yahoo.com |
| 66.228.164.141 | rtools3.yst.corp.yahoo.com |
| 66.228.164.142 | rtools4.yst.corp.yahoo.com |
| 66.228.164.193 | rdev5.yst.corp.yahoo.com |
| 66.228.164.200 | rdev24.yst.corp.yahoo.com |
| 66.228.164.201 | rdev25.yst.corp.yahoo.com |
| 66.228.164.203 | rdev27.yst.corp.yahoo.com |
- ユーザーエージェントは、下記のとおり
- Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
- Mozilla/5.0 (compatible; Yahoo! DE Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
- Mozilla/5.0 (compatible; Yahoo! Slurp/si-emb; http://help.yahoo.com/help/us/ysearch/slurp)
- Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)
- Mozilla/4.5 [en] (Win98; I)
これらのロボットは、実に不思議な巡回パターンになっている。
- 基本的には、Yahoo! JAPANカテゴリ登録サイトのトップを巡回している。しかも、あくまでも基本的にということだ。
- rtools3.yst.corp.yahoo.comは相当奇妙な動きを示している。 ユーザーエージェントはMozilla/4.5 [en] (Win98; I)、かつ単独のリンク集ページのみにアクセスしている。ディレクトリもrobots.txtも巡回していない。
- g1006.yst.corp.yahoo.comは、サイトのトップとrobots.txtのみ。
- rtools2.yst.corp.yahoo.comとrtools4.yst.corp.yahoo.comは、特定のディレクトリとrobots.txtのみ、エージェントもMozilla/4.0 (compatible; MSIE 5.0; Windows NT)。
- rdev27.yst.corp.yahoo.com、エージェントは普通のYahoo! Slurpだが、robots.txtと特定のページに執拗にアクセスして、時折304（未更新）を返している。ストーカーのごとく不気味だ。
