TOP
＞
情報セキュリティ
＞ スパムフィルタを購入する前に
今時のスパムフィルタの選定基準
第３回：伝説？誤解？スパムの定義
著者：
センドメール 小島 國照
2006/12/14
前のページ
1
2
3
スパムフィルタを購入する前に
スパムフィルタを購入するには、やはり数種類のフィルタを実環境でベンチマークテストをしてから決定するのが理想です。第2回でも説明しましたが、アンチウイルスフィルタがどの製品もほぼ同等の性能を持っているのに対し、スパムフィルタは製品によって驚くほどの差があるからです。
しかし、スパムフィルタのベンチマークは簡単ではありません。フィルタのベンチマークでの注意点をあげます。
今送信されているスパムでテストする
蓄積しておいた古いスパムでのテストは無意味です。スパムの世界は分単位のリアルタイム性があります。必ず現在受信しているスパムがブロックできるかどうかをテストしてください。
すべての製品を同じ環境でテストする
すべてのテスト対象製品に可能な限り同じメールを同時に流してください。
正規メールとスパムの両方受信する
必ずスパムと正規メールの両方を使用してテストしてください。スパムの検知率以上にフォールスポジティブの数が重要です。
4日以上、数万メールをテストする
テスト期間は長いほうがよいのは当然ですが、少なくとも4日程度は行ってください。メール数は、最小でも数万レベル、可能であれば10万通は欲しいところです。これも多いほどよいですが、最終的な精度の判定には、人の目による判断が必要ですので、目視で正確に判断可能な分量が限界となります。
チューニングの前と後を比較する
導入にチューニングが不可欠な製品は、永久にチューニングの保守を実行する必要があることを意味するので好ましい特性ではありません。しかし、チューニングが必要な製品もテストの対象とするのならば、チューニング前と後のそれぞれの状態の製品をテスト対象として評価し、チューニングの負荷を後から考慮できるようにしておくことが大事です。
ハニーポット設置は注意が必要
ハニーポットでスパムを収集する場合は、その方法に注意してください。社内ドメインを使うのは厳禁です。また、スパムの定義を曖昧にするような行為はやめましょう。どこかのドメインにアドレスを公開する時はメールの送信を勧誘するのはルール違反です。当然、アダルトサイトなどにメールを登録するような行為は絶対にしないでください。このようにして送られてくるメールは定義上スパムではありません。
最終判断は人間が判断
精度の最終判断は、実際に人の目で行いましょう。論理的に、これ以外の方法で精度を測る方法は存在しません。
複数フィルタのテストは4種類のチェック項目
複数のフィルタをテストする場合、「A社が捕捉しB社が捕捉できなかったスパム」「A社が捕捉できなかったが、B社が捕捉できたスパム」「A社もB社も捕捉できなかったスパム」「A社もB社も捕捉できたスパム」の4種類をチェックしてください。
表1：スパムフィルタのベンチマークの注意点
表1の「複数フィルタのテストは4種類のチェック項目」については注意が必要です。
すでにスパムフィルタを使用していて、他社のフィルタをテストする場合、必ず「A社が捕捉しB社が捕捉できなかったスパム」「A社が捕捉できなかったが、B社が捕捉できたスパム」「A社もB社も捕捉できなかったスパム」「A社もB社も捕捉できたスパム」の4種類をチェックします。特に最初の2種類の存在を忘れてしまうことが多いようです。
A社のフィルタが逃したスパムをB社のフィルタがスパム判定したので、B社の方が優れていると考えて導入し、痛い目に遭うというような間違いをIT専門の企業でも犯すことがあります。A社がスパムと判断したメールをB社がすべてスパムと判断する保証はないということを忘れがちなようです。また当然ですが、A社、B社のフォールスポジティブを数えるのを忘れないでください。
例えば複数製品を比較する場合、以下のように整理することができます。
実際の判定
A社判定
B社判定
正規メール
スパムメール
正規メール
正規メール
a
e
スパムメール
b
f
スパムメール
正規メール
c
g
スパムメール
d
h
表2：A社とB社のスパムフィルタを比較
これらを測定した上で、A社製品の精度は以下の計算式で求めることができます。
A社スパム捕捉率 = ( g + h ) / ( e + f + g + h )
A社フォールスポジティブ率 = ( c + d ) / ( a + b + c + d )
なお、スパムと正規メールの比率は変化するため、全メール総数に対するスパム検出数などはあまり意味がありません。しかし目視によるメールの実際の判定が困難な環境では、相対的な比率で比較するしかないでしょう。その場合でも上記のような表を作成することは意味があります。
最後に実際に第三者機関が行ったベンチマークの例が以下のWebサイトに掲載されています。
The Tolly Groupのベンチマーク結果
http://www.cloudmark.com/releases/docs/tolly_report-cloudmark_authority.pdf
このベンチマークはSendmailが日本で販売している「Cloudmark」とSymantecの「Brightmail」の比較です。テストを行ったTolly Groupの社内メールとISP内のハニーポットからのメールを4日間にわたって使用しています。テストは以下のようなシステム構成で実施されました。
図1：テストシステムの構成
（画像をクリックすると別ウィンドウに拡大図を表示します）
フォールスポジティブ（False Positive）
正規メールを、スパムメールであると誤って判定すること。ニュースレターやオプトインによる広告メールの誤判定に対して、通常のビジネスメールの誤判定をクリティカルフォールスポジティブと呼ぶ。
フォールスネガティブ（False Negative）
スパムメールを、正規メールであると誤って判定すること。
まとめ
今回はスパムの歴史とよくある誤解に触れ、スパムフィルタの選定方法ついて解説しました。次回はスパムフィルタに使われている技術について紹介します。
前のページ
1
2
3
著者プロフィール
センドメール株式会社 小島 國照
センドメール株式会社社長
日本タンデムコンピューターズ(現：日本HP)、ストラタスコンピュータ(現：日本ストラタステクノロジー)においてマーケティングおよび技術部門の責任者を勤めた後、サイベース、シャイアンソフトウェア、オブジェクト・デザイン・ジャパンなど、ソフトウェア業界において、マーケティング、製品開発、経営などに携わる。2003年より現職。Sendmail,Inc.入社以前は、ターボリナックスジャパン社長として、日本のビジネス市場における本格的なLinux導入に尽力した。
INDEX
第3回：伝説？誤解？スパムの定義
はじめに
スパムの特性
スパムフィルタを購入する前に
