2006-02-18
Y!J-DSCとY!J-BSC - Yahoo! JAPAN独自のクローラー
編集人は、数十のサイトを運営している。 この三国志を含むSEO塾関連サイトは、hyperposition.comのドメインで運営し、もちろんサーバの生ログを毎日のように見ている。 さて、Yahoo!のYSTクローラーについては、まず「Yahoo! Slurp」がUser-Agen...
2006-02-18 07:03 PM | コメント (0) | トラックバック (0)
2005-10-11
YahooSeeker - Yahoo!のブログ専用ロボット
Yahoo!にも、ブログ専用のロボットがあるようだ。 情報源は、Yahoo Crawler Delay Command（ルートディレクトリ）。 上記エントリーには、Yahoo!のロボットの巡回遅延（delay）を指示する、robots.txtのコマンドが記載されてあった。 しかし...
2005-10-11 07:05 PM | コメント (0) | トラックバック (0)
2005-07-11
wj10##.inktomisearch.com
wj系のYahoo! Slurp、つまりYahoo!(YST)のロボットがある。 恥をさらすようだが、最近気付いた。 IPは、66.196.65.49～66.196.65.60。ホストは、wj1000.inktomisearch.com～wj1011.inktomisearch....
2005-07-11 05:48 PM | コメント (1) | トラックバック (0)
2005-04-01
YSTのページ登録 - Yahoo! Slurp巡回の推薦
検索エンジン用ロボットの巡回先への推薦 Yahoo! JAPAN - 検索結果に表示させる方法 ようやく、Yahoo! JAPANにも、クローラを召喚する登録ページができたようだ。 最近のYahoo! JAPANの仕事ぶりには感心させられる。方向性はともかく、日本市場を完全制圧す...
2005-04-01 01:10 AM | コメント (0) | トラックバック (1)
2005-03-11
.yst.corp.yahoo.com - YSTクローラの新種？
最近見かけた、YSTのクローラ。 robots.txtしかGETしていない。 IP 66.228.164.203 ホスト名 rdev27.yst.corp.yahoo.com エージェント Mozilla/5.0 (compatible; Yahoo! Slurp/si-emb;...
2005-03-11 01:28 AM | コメント (0) | トラックバック (1)
2004-08-09
Yahoo! DE Slurp - 得体の知れないクローラ
いやぁ、実にYahoo!(YST)はなかなか正体を現してくれない。そしてまた、謎をかけてくる。 YSTは米Yahoo!の検索エンジンなのに、Yahoo! Japanのカテゴリ登録サイトを目掛けてアクセスしてくるクローラが存在している。 今回は、思考停止してただデータのみ。 htt...
2004-08-09 06:58 AM | コメント (0) | トラックバック (0)
2004-07-22
YahooFeedSeeker/1.0 - 米Yahoo!のRSSアグリゲータ
YahooFeedSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; http://my.yahoo.com/s/publishers.html) アメリカYahoo!のMy Yahoo!、RSSアグリゲータのユーザーエージェントのようだ...
2004-07-22 10:37 PM | コメント (0) | トラックバック (0)
2004-06-26
Yahoo-MMCrawler/3.x というクローラ
他のドメインのサーバ生ログを久しぶりに点検したところ、Yahoo!の新しいロボットが巡回してきているようだ。 User-Agent（ユーザーエージェント） Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo ...
2004-06-26 04:39 PM | コメント (0) | トラックバック (0)
2004-06-19
Yahoo! Slurpは巡回してくるものの
Googlebot対Yahoo! Slurp対MSNBotの巡回量は、10対１対3。 つまりロボットの来襲率がかなり違っている。 さらに、YSTもMSNβも、ロボットが来てもなかなか下層ページをインデックスしない。 特にベータ版のMSNはともかく、YSTは深刻だ。 ロボット巡回...
2004-06-19 08:50 PM | コメント (0) | トラックバック (0)
