2006-02-18
Y!J-DSCとY!J-BSC - Yahoo! JAPAN独自のクローラー
[ YSTロボットの伝 ]
編集人は、数十のサイトを運営している。
この三国志を含むSEO塾関連サイトは、hyperposition.comのドメインで運営し、もちろんサーバの生ログを毎日のように見ている。
さて、Yahoo!のYSTクローラーについては、まず「Yahoo! Slurp」がUser-Agent（ユーザーエージェント）に含まれているものをチェックし、次にドメイン名に「inktomisearch.com」が含まれるもの、というように検証している。
ところが、おかしなUser-Agentに気付いた。
メインドメインのhyperposition.comでは見落としていたのだが、Yahoo!のウェブ検索の変動で、カテゴリ登録サイトのアイコン未表示など、カテゴリ登録サイトに対してロボットがどのような動きを示しているのか、検証している最中で見付けたものだ。
Yahoo! JAPAN独自のクローラー
おかしなUser-Agentは次の二つ。
- Y!J-DSC 1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html
- Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
Y!J-DSC
- IP
- 211.14.8.254
- ホスト
- ont211014008254.yahoo.co.jp
- User-Agent
- Y!J-DSC 1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html
- 巡回先
- Yahoo! JAPANのカテゴリ登録サイトのトップページ
- DSCの意味
- Directory Site Crawler？
Y!J-BSC
- IP
- 203.141.52.34
- ホスト
- なし？
- User-Agent
- Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
- 巡回先
- ブログなどのFeedや、特定のページ
- BSCの意味
- Blog Site Crawler？
Yahoo!検索の検索エンジン用ロボットについて
上記User-Agentに記載してあるページである。
Yahoo! Inc.のインデックスクローラーのほかに、Yahoo! JAPAN独自に、研究・開発・メンテナンスなどの目的で、以下のクローラーを管理、運営しています。
Yahoo! ヘルプ - サイト管理者向け
今更なのだが、Yahoo! JAPANの特にウェブ検索に関するヘルプが、かなり更新されているようだ。
なかでも、「Yahoo! Inc.のリダイレクトに関するガイドライン」には、非常に重要な記述があるので、必ず熟読しておいた方がいい。
2006-02-18 07:03 PM | コメント (0) | トラックバック (0) [ 管理人編集 ]
