プライベートクラウド運用の課題と対策

リモートオペレーションセンター（ROC）とは

最後に「RePlavail」を支えるインフラの1つである、リモートオペレーションセンター（以下、ROC）について紹介します。ROCはユーザーのシステム障害に24時間365日即時対応するため、RBA自動化サーバーとプライベートクラウドを熟知したROCエンジニアとで効率的に対応します。解決がより難しい場合は、プロダクト専任エンジニアやメーカーと連携し敏速な障害対応を実施します。

ROCの機能について

ROCでは一元窓口なども含め、以下の機能を有しています。

障害・リソース監視

Ping、SNMPトラップ、SNMPポーリング、プロセス監視、ログ監視などを実施します。VMware vSphereを利用した仮想化環境では仮想マシンの監視に加え、vCenterからのアラートを監視します。発生した監視メッセージやイベントなどは自動フィルタで処理されて対応が必要なアラートのみがオペレータに通知されます。

Run Book Automation（RBA）

従来であれば通知されたイベントはオペレータが内容を確認して、オペレーションを実施したり、障害であれば担当エンジニアにエスカレーションする、などの処理が行われていました。ROCではRun Book Automation（RBA）の機能により、イベントの一部に関しては自動で対応処理が実施されるようになります。RBAで自動対応処理が行われたものはステータスを確認し、正常であれば処理は終了となります。引き続き異常が検知された場合は、オペレータや担当エンジニアに通知され、対応を開始します。
また、従来であれば障害切り分けの前に担当者はシステムにログインして関連ログの採取を行いますが、ROCではRBAによりログが自動取得されるので、担当者は対応開始時点から障害解析作業を行うことができ、作業時間が大幅に縮小されます。

リモートアクセスセキュリティ強化

ユーザー環境とROCは安全な接続方法を確立しています。VPN回線や専用線で接続した上でさらにIPSecで暗号化してお客さま環境とROCを接続します。SEがROCのインフラへの接続する場合は、強固なアクセスコントロールを行うことにより不正な接続を防止します。

また、SEのリモートアクセスや障害対応・運用管理の操作はすべてログとして記録され、記録されたログは特別な権限がなければ閲覧することもできません。

管理者向けポータルサイト

管理者向けポータルサイト（ROCポータル）を提供します。ROCポータルでは管理対象のサーバーやサービスの動作を見える化することが可能です。システムの稼働状況だけではなく、インシデント情報やその対応状況、システム構成情報を把握することが可能です。インシデントは、RBAと連動しており障害イベントなどはポータルのインシデント管理画面に自動で反映されます。担当SEとユーザーは監視者向けポータルサイトで情報を共有することができるため、敏速に障害対応を行うことが可能です。

ROCのアーキテクチャ

プロプライエタリソフトウエアとオープンソースソフトウエアの組み合わせで構成されています。さらにこれらのソフトウエア有機的に接続する機能については、Ruby on Railsで自社開発を行っています。

Ruby on Railsでの開発

ROCではプロプライエタリソフトウエアとオープンソースを有機的に接続するためのグルー（糊言語）として、RubyおよびRuby on Railsを利用しています。それに加えて、Ruby on Railsで管理者向けポータルサイト、構成管理、インシデント管理の機能を開発しています。Ruby on Railsを開発言語として採用した理由は以下の通りです。

• Rails on Railsという強力なフレームワークによるスピーディーな開発
• 仕様などの変化に柔軟に対応できる
• CTCの社内システムで長く使われている実績がある。
• CTCおよび弊社グループ会社にバックサポート体制やRuby教育体制がある

また、以下のようなRubyの特長を生かした開発を行うことができました。担当SEの負荷を下げるためのツール類も、Ruby on Railsであれ比較的簡単に開発できるので今後も継続して機能追加を行えると考えています。

• コード量が少ない。DRY（Dont Repeat Yourself）、CoC（Convention Over Configuration）の考え方でコード量を減らしている。
• 少数のエンジニアで開発できる。
• 文字列操作に強い。監視・運用なのでフィルタや検索などの文字列の処理が重要

まとめ

「RePlavail」はROCをベースとしたリモート運用サービスです。このサービスの最大の特長は、パブリッククラウドの手軽さでプライベートクラウドならではの高いセキュリティ環境と高品質な運用サービスが利用可能な点だと言えるでしょう。

次回は、「RePlavail」で実際に利用しているVMware vSphere PowerCLIについて事例を交えてご紹介します。