CentOS 7のログ管理「journald」

今回は、CentOS 7で採用されている新しいログ管理の仕組み「journald」を取り上げます。またjournaldとrsyslogとの連携やシステム全体に渡って様々なログを収集するsosreportについても簡単に触れます。

CentOS 7におけるログ機構「Systemd Journal」を使いこなす

CentOS 7は、ログの管理を行う新しい仕組みが導入されています。従来のCentOS 6系では、長年親しまれてきたsyslogがベースのログ管理手法が採用されていましたが、CentOS 7からは、ログに関するより細かい指定や操作を行うことができるようになっています。CentOS 7でのログ管理は、systemdが担当しています。サービス名は、「systemd-journald.service」です。一般的には、「journald」と呼ばれています。CentOS 6までのsyslogではsyslogデーモンを稼働させていましたが、CentOS 7からは、もはやsyslogdデーモンの起動は不要です。その代わり、ログの収集の仕組みであるjournaldのサービスを起動する必要があります。journaldが起動しているかどうかは、systemctlコマンドで確認できます。

journaldが収集したログを適宜整形、加工できるのが、journalctlコマンドになります。journalctlコマンドは、ログの出力に関する様々なオプションを備えています。以下では、CentOS 7の管理者が、知っておくべきjournalctlコマンドを使ったログ管理の基礎をご紹介します。

ブートログを出力する

サーバーに搭載されている各種ハードウェアの認識状態等を確認するために、CentOS 7のブート時のログを見たい場合があります。直前のブートのログを確認するには、journalctlコマンドに-bオプションを付与します。

日時でフィルタリングする

以下は、2014年9月5日午前1時23分45秒から2014年9月7日午前4時56分0秒までのログを出力する例です。

デフォルトでは、自動的にlessページャが起動し、ログをスクロールさせて閲覧することができます。lessページャの自動起動が不要の場合は、--no-pagerオプションを付与します。特定のサービスに限ってログを出力させたい場合は、そのサービスのユニット名を指定します。

--sinceオプションに「today」を指定することで、今日ログされたものから現在までのものを抽出して出力することも可能です。

他にも、--sinceオプションに「yesterday」や「tomorrow」を指定することも可能です。

過去のログだけでなく、現在のシステムが出力しているログをリアルタイムで閲覧したい場合があります。従来の「tail -f /var/log/messages」のように、tailコマンドを駆使していたようなログの閲覧方法を実現するには、-fオプションを付与して実行します。

従来のsyslogでは、ログのプライオリティ管理ができました。journalctlでも同様にプライオリティによる出力のフィルタリングを行うことができます。特定のプライオリティのログのみを出力させる場合は、-pオプションにプライオリティを付与してjournalctlコマンドを実行します。

warningプライオリティの場合

errプライオリティの場合

上記の-pオプションには、プライオリティの値で指定することも可能です。プライオリティの値とログレベルの対応関係を以下に示します。

カーネルログのみを表示させることも可能です。従来のsyslog管理のdmesgに相当します。

特定のプロセスIDのみに関するログを出力したい場合は、「_PID=プロセス番号」を付与して実行します。

サービスを提供する実行ファイルのパスを指定することも可能です。以下では、コマンドの実行をスケジューリングするサービス「crond」の実体である/usr/sbin/crondに関連するログのみを出力する例です。

OS再起動後もログが消去されないようにする

CentOS 7のjournaldの設定では、ログファイルは、/run/log/journalディレクトリ以下に格納されています。しかし、/runディレクトリはtmpfsファイルシステムでマウントされており、OSを再起動すると、/run/log/journalディレクトリ配下に格納されていたログファイルは削除されてしまいます。

OSを再起動してもログが保管されるようにするためには、journaldの設定ファイル/etc/systemd/journald.conf内で「Storage=persistent」を指定し、コメントアウトを意味する行頭の「#」を削除します。

設定ファイルを編集したら、journaldサービスを再起動します。

/etc/systemd/journald.conf内で「Storage=persistent」を指定した場合、/var/log/journalディレクトリ配下にディレクトリとログが作成され、ログが永続的に保存されるようになります。

/etc/systemd/journald.conf内でデフォルトの「Storage=auto」を指定すると、/var/log/journalディレクトリが存在しない場合は、tmpfsでマウントされている/run/log/journalディレクトリ配下にログが保管されます。/var/log/journalディレクトリが存在する場合は、/var/log/journalディレクトリ配下にログが保管されます。

ログの容量制限

journaldによって生成されるログの容量を制限するには、journald.confファイルの「SystemMaxUse=」パラメータに値を設定します。以下は、ログの容量を128MBに制限する例です。

パラメータを記述したら、journaldを再起動します。

今現在、journaldで管理されている全てのログの容量を確認するには、journalctlコマンドに「--disk-usage」オプションを付与して実行します。

journaldで収集したログを遠隔にあるsyslogサーバーに転送する

CentOS 7におけるログは、journaldによって一元的に管理されていますが、そのログを遠隔にあるログサーバーに転送したい場合があります。ログサーバーには様々な種類がありますが、一般的に広く利用されているのは、rsyslogサーバーです。実は、CentOS 7でもjournald以外にrsyslogによるログサーバーを構築することが可能となっています。CentOS 7以外にCentOS 5やCentOS 6などのjournaldに対応していないsyslogベースのOSが混在する環境では、ログサーバーとして、使い慣れたrsyslogでログを統合して管理することが考えられます。

ここでは、CentOS 7がインストールされた管理対象サーバー上でjournaldによりログを取得し、遠隔にあるCentOS 7のrsyslogサーバーにログを転送する手順を紹介します。

まず、CentOS 7上で、rsyslogサーバーを構築します。rsyslogサーバーの設定ファイルrsyslog.confファイルを編集します。

上記の「$UDPServerRun 514」は、rsyslogにおいてUDPの514番ポートを使用する設定になります。また、ログを取得したい管理対象サーバーのIPアドレスと、ログサーバー側で保管するログファイルのフルパスを記述します。上記では、管理対象サーバーのIPアドレスが172.16.70.2の場合は、ログサーバー側の「/var/log/journalctl_log_172.16.70.2」というファイルにログを書き込むというルールを記述しています。上記の設定ファイルを記述したら、ログサーバー側でjournalctl_log_172.16.70.2という空のファイルを作成しておきます。

rsyslogはUDPの514番ポートを使って通信を行いますので、ログサーバー側のファイアウォールの設定を変更します。UDPの514番ポートを開ける設定は、以下のとおりです。

ログサーバー側のファイアウォールの設定を反映します。

ログサーバー側のUDPの514番ポートが開放されているかを確認します。

ログサーバー側のrsyslogサービスを再起動します。

これで、IPアドレスが172.16.70.2の管理対象サーバーのログをrsyslogで収集するログサーバーが構築できました。次に、管理対象サーバー側でjournaldによるログ収集を設定します。まず、管理対象サーバー側でも、ログ管理サーバーと同様に、UDPの514番ポートを開放します。

管理対象サーバー側でjournaldが稼働していない場合は、journaldを起動します。

管理対象サーバー側で、journalctlコマンドを使ったログ取得を行い、遠隔のrsyslogサーバー（IPアドレスは172.16.70.99とします）にログを転送します。

ログが転送されているかのテストは、管理対象サーバー側で、httpdやpostfix等のサービスを再起動したりすることでサービス再起動に関するログが生成され、rsyslogサーバーにそのログが転送されるはずです。

フォワード・セキュア・シーリングとQRコードの生成

フォワード・セキュア・シーリング（Forward Secure Sealing：FSS）と呼ばれる技術を使って、ジャーナルの一貫性の確認を行うことが可能です。定期的に自動生成されるキーを使い、ログの完全性検証を行うことが可能です。一般的に、侵入者は、Linuxシステムに保管されているログの履歴を改変しようとします。しかしこのキーを使えば、この改変をチェックすることができ、システムへの侵入検知にも有用です。具体的には、事前に検証用のキーを生成しておき、そのキーを意味するQRコードを管理者の携帯電話やスマートフォンに保管しておきます。検証時には、管理者の携帯電話やスマートフォンに保管しておいた文字列を、journalctlコマンドで読み込ませ、ログが改変されていないかをチェックするという流れになります。ただし、CentOS 7のアップストリームOSであるRHEL 7においてもテクノロジープレビューに位置づけられているため、正常な動作が保証されているわけではありません。あくまで挙動の確認やテスト目的で利用して下さい。以下では、具体的に、検証用のキーを含むQRコードの生成手順とログの完全性の検証方法を示します。

まず、キーペアを生成します。このキーペアは、ジャーナルのシーリングに利用するキーです。

上記コマンドにより、「シーリング鍵」が、ローカルシステムのディレクトリ/var/log/journalディレクトリ配下に格納されます。シーリング鍵は15分毎に自動的に更新されます。この鍵は、複数のホストで共用して利用して利用することは避けて下さい。さらに、検証鍵が赤い文字列で表示されています。この文字列を書きとめておきます。この文字列は、ローカルシステムのディスク上に保管することは避けて下さい。検証鍵を示すQRコードを管理者の携帯電話やスマートフォンで読み取り、表示されたシーリング鍵と検証鍵の文字列を保管しておいて下さい。システムに記録されているジャーナルの完全性の検証は、journalctlコマンドに、「--verify-key」オプションを付与し、検証鍵の文字列を指定します。

もし、ジャーナルの完全性が示された場合は、「PASS」と表示されます。

システム全体の様々なログと設定ファイルをまとめて収集するsosreport

Linuxシステムで管理されるログには、様々な種類が存在しますが、それらのログを一つ一つ手動で収集するのは非効率です。また、ログだけでなくその時の設定ファイルも証拠として保管しておきたい場合が少なくありません。このような場合、ログや設定ファイルを一括して取得するスクリプトを登録しておくことも有用ですが、CentOS 7では、それ専用のsosreportコマンドが用意されており、システム全体のログと設定ファイルを簡単に一括取得することが可能です。以下では、sosreportコマンドを使ったログと設定ファイルの取得手順を示します。

sosreportコマンドは、sosパッケージに含まれていますので、インストールされていない場合は、yumコマンドでインストールします。

sosreportコマンドにより、ログと設定ファイルを収集します。

上記のように「Press ENTER to continue, or CTRL-C to quit.」が表示されたら、ENTERキーを押します。すると、以下のように、名称の入力が促されます。

このままでよければ、ENTERキーを押します。次に、sosreportコマンドが生成するレポートのケースナンバーの入力が促されます。

このままでよければ、ENTERキーを押します。すると、sosreportコマンドがCentOS 7がインストールされたシステム全体に渡ってログと設定ファイルを収集します。しばらくすると、以下のように、ログと設定ファイルがアーカイブされたファイルが生成された旨のメッセージが表示されます。

上記のsosreport-centos70n02-20141022101820.tar.xzをtarコマンドで展開し、中身を見てみましょう。

様々なログファイルや設定ファイル、そしてコマンドの出力結果がディレクトリ毎に整理されて記録されています。sosreportコマンドは、--reportオプションを付与して実行すると、取得したログや設定ファイル等をWebブラウザで簡単に閲覧することが可能なHTMLファイルを生成します。HTMLファイルは、上記アーカイブ内のsos_reportsディレクトリに保管されています。今回は、sosreportコマンドを実行した管理対象サーバー上に、Webサーバーを起動し、遠隔にある管理者のパソコンからsosreportのアーカイブを展開した中身をWebブラウザで閲覧できるようにしてみましょう。まず、展開したアーカイブファイルを/var/www/htmlに移動します。

ログを収集した管理対象サーバー上で、Apache Webサーバーを起動します。

ファイアウォールの設定を行います。遠隔にある管理者のPCと通信を行うLANセグメントを確認します。

上記結果より、今回は、publicに所属するLANセグメントについてHTTPサービスを許可します。今回は、HTTPサービスの提供するゾーンとしてpublicを選択していますが、実際には、ログの盗聴等を考慮し、暗号化されたセキュアな通信経路を考慮して下さい。

これで、HTTPを使って/var/www/htmlディレクトリ配下のファイルをクライアントに閲覧できるようになりました。次に、/var/www/htmlディレクトリに移動させたsosreportのディレクトリのパーミッションを変更します。

以上で、遠隔のPCからsosreportコマンドで取得したログや設定ファイル等をWebブラウザで確認することができます。

以上、CentOS 7におけるログ管理を紹介しました。従来のrsyslogによる管理と比較すると、journaldは、豊富なフィルタリング機能が提供されており、ログの管理性が向上しています。また、システムの保守に関わる部門では、sosreportなどのログ及び設定ファイルの収集ツールが重宝されています。ログの管理を効率的に行い、日々の運用やトラブル時の保守サポートに役立ててみて下さい。

＜編集部より＞コマンドの実行手順を一部修正しました（2015/1/15）