【関係４】ストレージ特性とディスクの関係

ここからはokuyamaの最も重要な部分となるストレージ（DataNode）の部分を主に解説したいと思います。前回の連載でも解説させていただいた通り、okuyamaにはいくつかの永続化特性とオプションがあります。

永続化特性は前回の記事を参照いただくとして、ここではもう少し深く個々の永続化特性とサーバーリソースの関係を見ていきたいと思います。

まず大きく、特性を整理すると、ディスクを利用するか、利用しないかに分けることができます。そして利用する場合は何に利用するかがキモになります。以下にokuyamaがディスクを利用している用途と設定ファイル上の設定方法を整理しました。

（１）永続化ファイル

用途:データの永続化を保証するためのログファイル。本ファイルがあればデータ以降で説明するどのファイルが損傷していても正しくデータを復元することが可能です。
利用形態:1つのファイルに時系列にシーケンシャルに書き出しのみが行われる。1.6GB毎にローテーションが行われる。
設定場所:DataNode.propertiesのKeyManagerJob*.Optionに定義されている第二引数
利用方法:DataNode.propertiesのKeyManagerJob*.memoryModeに"false"と定義する。

（２）Value用データファイル

用途:Valueを格納するためのデータファイル。
利用形態:1つValueの一定サイズまでを全て格納するファイルと一定サイズを超えたValueを格納する複数のデータファイルで構成される。両ファイルとも新規のValueに関してはデータファイルの最後尾に書き込まれ、既存データに関してはリプレイスされる。読み出しに関してはランダムアクセスにて行われる。
設定場所:DataNode.propertiesのKeyManagerJob*.Optionに定義されている第一引数と引数に".data_0"と付加したディレクトリ配下のファイル。
利用方法:DataNode.propertiesのKeyManagerJob*.dataMemoryに"false"と定義する。trueの場合すべてのValueはメモリに保存されます。

（３）Key用データファイル

用途:KeyとValueのデータファイル上の位置を格納するためのデータファイル
利用形態:複数の小さなファイルを一定数作成し、そこに分散させてデータを管理している。ランダムアクセスにて入出力が行われる。
設定場所:DataNode.propertiesのKeyManagerJob*.keyStoreDirsに定義されているデイレクトりの配下のファイル※自動的に作成される
利用方法:DataNode.propertiesのKeyManagerJob※.keyMemoryに"false"と定義する。trueの場合すべてのKeyはメモリに保存されます。

（４）仮想メモリ用のデータファイル

用途:メモリを利用してKeyまたはValueを保存していた場合にメモリ枯渇が予想された場合にメモリの代わりにKeyとValueを保存するためのデータファイル
利用形態:（３）とほぼ同じ仕組みで構築されており、大量の小さなファイルにて構成されランダムアクセスによる入出力が行われる。
設定場所:DataNode.propertiesのKeyManagerJob*.virtualStoreDirsに定義されているデイレクトりの配下のファイル。
利用方法:DataNode.propertiesのKeyManagerJob*.virtualStoreDirsにディレクトリを定義し、KeyManagerJob*.memoryLimitSizeに0以上の数値を定義する。

上記のように大きく4種類に分けることができます。そして全てのファイルへのアクセスは並列にて行われます。そのため、出来るだけ異なるディスク上に配置することをおすすめします。特に、（１）と（２）は別のディスクにすることで書き込みと読み込みが同時に発生するようなシチュエーションで性能の向上が望めます。

ただし全てのサーバー環境で複数のディスクが利用できる訳ではありません。そこでそういった場合に性能を向上させるためのオプションとして、いくつかの機能を備えています。それが表1の機能になります。

表1：性能向上のためのオプション機能

	説明	設定方法
（１）永続化ファイル遅延書き込み機能	永続化ファイルへの書き込みを即時ディスク反映するのではなくいったんメモリ領域に書き込み、その時点で保存完了の応答を返し、実際の書き込みはバックグラウンドにて行う	DataNode.propertiesの DataSaveTransactionFileEveryCommit設定をtrueにする
（２）Value用データファイルへの遅延書き込み機能	Value用データファイルへの既存データのリプレース書き込みをいったんメモリ領域に書き込み、その時点で保存完了の応答を返し実際の書き込みはバックグラウンドにて行う	DataNode.propertiesの ShareDataFileWriteDelayFlg設定を trueにし、 ShareDataFileMaxDelayCountに遅延させるバッファの最大数を数値で定義する

3. まとめ

いかがだったでしょうか。okuyamaとサーバーリソースとの関係をつかんでいただけましたか？今回はあくまで概念の部分をご説明しましたが、次回はもっと運用に踏み込んだ話題を解説させていただこうと思っています。おたのしみに。

この記事のキーワード：

この記事をシェアしてください

okuyamaを運用するために知っておきたい基本的な操作

バックナンバー

この記事の筆者

岩瀬高博

株式会社神戸デジタル・ラボ

2006年神戸デジタル・ラボに入社。企業内業務アプリケーション開発に従事。
2008年末から大規模ECサイトのアプリケーション、インフラ周りの運用に従事。
2009年末に分散Key-Value Store”okuyama”をオープンソースとして公開。
2010年から各都道府県で開催されるオープンソースカンファレンスへの出展やセミナー登壇、「NOSQL afternoon in Japan」や、「JavaCloud Meeting Kansai」での登壇といった”okuyama”の普及活動の傍ら、”okuyama”を使ったアプリケーション開発などに従事し、現在に至る。

岩瀬高博のプロフィールを見る

業界情報やナレッジが詰まったメルマガやソーシャルぜひご覧ください

Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。