監視と一次対応部分を自動化し、障害対応をスピードアップ

PandoraFMSと、それを利用した関連商用サービスを表1に示す。

※1 Pandora FMS：http://pandorafms.org

※2 SoNar：http://www.rworks-ms.jp/service/detail/id=45（Pandora FMS をベースに利用したASPサービス）

監視と一次対応部分を自動化し、障害対応をスピードアップ

監視ツールとしての機能詳細に関しては第4章に譲るとして、ここでは、「効率化」「高品質化」「コスト削減」という命題に対して、どう効果を発揮するかという点を見ていく。

まず、基本的な障害対応部分を考えてみる。

システムの運用において、ある障害が発生したとしよう。統合運用管理システムが構築されている環境であれば、一次対応をシステムが実施し、二次対応を技術者が行う体制になるはずだ。このフローチャートを、図2に示す。

図2：障害発生時の対応フローチャート例

基本的な障害対応部分の高品質化を実現するためには、まず発生しうる事象と自動復旧処理をいかにパターン化して定義できるか、ということが重要になる。システムで対処できる処理がしっかり定義されていればいるほど、確実に、かつスピーディな対応ができるからである。その結果、問題が発生したとしても、問題が継続している時間を最大限短くすることができる。

このPandoraFMSでは、ある事象が発生した場合に、任意のアクションを定義することができる。例えば、Webサーバーでhttpdが動いているとしよう。そのhttpdで障害が発生した場合、20世紀型の運用であれば、オペレーターに障害通知されるか、または自動処理をするにしても、単純にプロセスダウン時の再起動までではなかっただろうか。

これに対して、21世紀型の運用における統合運用管理システムでは、再起動の先までもシステムが対応する領域だ。もちろん、httpdの障害を検知したら、単純に再起動するという対応もあるかもしれない。しかし、PandoraFMSでは複数回リトライしてNGであれば再起動したり、システムの負荷が高い場合に限り再起動したりするなど、複雑な対応を定義できる。

ここで、考えられる事象に対してシステムが自動対応を行う例を、以下に示す。

1. httpdのプロセスダウンを検知したらプロセス自動再起動
2. httpdの応答障害を検知したらプロセス自動再起動
3. httpdの応答障害（遅延）検知時にロードアベレージ10以上であれば自動再起動
4. httpdの応答障害（遅延）検知時にロードアベレージ10以上であればページ差し替え
5. httpdの応答障害(遅延)検知時に該当サーバーをロードバランサーから切り離し・復旧時に切り戻し
6. その他

いずれの場合も、それぞれの自動処理に失敗した場合に初めて、技術者へ通知されることになる。これは、他の監視項目でも同じである。統合運用管理システムを導入して活用することにより、まず監視と一次対応部分で、オペレーターの体制をおく必要がなくなり、想定された障害への対応はスピードアップできることを、理解していただけるだろうか。次に、PandoraFMSにおける設定例を見てみよう。これは、httpdの応答障害かつロードアベレージ10以上で、プロセスを再起動させる設定例である（図3）。

図3：複数条件合致時の自動処理例（アラート設定）

以上で、パターン化された事象の対応をシステムによって実施できるようになる。