2005-05-30
ベイジアンフィルタ、ベイズ理論 - Google、MSNの検索エンジン
Yahoo!(YST)のインデックス削除の傾向と対策として、放置していた初期ブログのエントリーを、再エントリーしている。
ベイジアンスパムフィルタとベイズ理論
Googleのアルゴリズムやペナルティについて調査中に、「ベイジアンスパムフィルタ」という言葉に行き当たる。
もともと、迷惑メールをフィルタリングするものなのだが、GoogleのUpdate Floridaの時は、フィルタに応用しているのではと囁かれた。
そこで、ベイジアン、ベイズ理論、とググっていったわけだ。
- グーグル、インテル、MSが注目するベイズ理論 - CNET Japan
- ベイズ理論 - マルチメディア／インターネット事典
- Wired News - 人工知能とコンピューターの未来を握る『ベイズ理論』(上) - : Hotwired
- Wired News - 人工知能とコンピューターの未来を握る『ベイズ理論』(下) - : Hotwired
人間臭くて、成長したり、学習したり、自己修正したり、検索エンジンにピッタリのこの理論は、当初からGoogleが検索エンジンにも採用しているという。
さすが、Google！
ところが、ベイズ理論に一番力を入れていて、しかも世界的に優秀な人材がそろった研究所を持っているのが、Microsoftらしい。
そしてほんのさわりはOfficeにも使われているそうな。
恐るべし、Microsoft！
ということで、ベイズ理論の応用で、検索エンジンの順位付けもフィルタも可能であると。
怖いことに、商用サイトとしてカテゴライズしなくても、迷惑メールのベイジアンフィルタのように、商用キーワードを中心とした販売促進的な言葉遣いなどを解析して、フィルタリングすることも可能といえる。
実際、編集人はメールソフトはBecky!を使っているが、このスパム対策・対処用のプラグインである「BkASPil for Becky!2」は日本語対応のベイジアンフィルタ方式を導入しており、実に絶妙にスパムメールを隔離してくれている。
検索エンジンのペナルティ回避も、ベイズ理論的なアンチスパムをかいくぐってフィルタリングされないようにするわけだから、こりゃ大変だ。
2005-05-30 06:33 PM | コメント (0) | トラックバック (0) [ 管理人編集 ]
