okuyamaを導入するまでに知っておきたいサーバリソースとの4つの関係

【関係４】 ストレージ特性とディスクの関係

ここからはokuyamaの最も重要な部分となるストレージ（DataNode）の部分を主に解説したいと思います。前回の連載でも解説させていただいた通り、okuyamaにはいくつかの永続化特性とオプションがあります。

永続化特性は前回の記事を参照いただくとして、ここではもう少し深く個々の永続化特性とサーバーリソースの関係を見ていきたいと思います。

まず大きく、特性を整理すると、ディスクを利用するか、利用しないかに分けることができます。そして利用する場合は何に利用するかがキモになります。以下にokuyamaがディスクを利用している用途と設定ファイル上の設定方法を整理しました。

（１）永続化ファイル

• 用途:データの永続化を保証するためのログファイル。本ファイルがあればデータ以降で説明するどのファイルが損傷していても正しくデータを復元することが可能です。
• 利用形態:1つのファイルに時系列にシーケンシャルに書き出しのみが行われる。1.6GB毎にローテーションが行われる。
• 設定場所:DataNode.propertiesのKeyManagerJob*.Optionに定義されている第二引数
• 利用方法:DataNode.propertiesのKeyManagerJob*.memoryModeに"false"と定義する。

（２）Value用データファイル

• 用途:Valueを格納するためのデータファイル。
• 利用形態:1つValueの一定サイズまでを全て格納するファイルと一定サイズを超えたValueを格納する複数のデータファイルで構成される。両ファイルとも新規のValueに関してはデータファイルの最後尾に書き込まれ、既存データに関してはリプレイスされる。読み出しに関してはランダムアクセスにて行われる。
• 設定場所:DataNode.propertiesのKeyManagerJob*.Optionに定義されている第一引数と引数に".data_0"と付加したディレクトリ配下のファイル。
• 利用方法:DataNode.propertiesのKeyManagerJob*.dataMemoryに"false"と定義する。trueの場合すべてのValueはメモリに保存されます。

（３）Key用データファイル

• 用途:KeyとValueのデータファイル上の位置を格納するためのデータファイル
• 利用形態:複数の小さなファイルを一定数作成し、そこに分散させてデータを管理している。ランダムアクセスにて入出力が行われる。
• 設定場所:DataNode.propertiesのKeyManagerJob*.keyStoreDirsに定義されているデイレクトりの配下のファイル※自動的に作成される
• 利用方法:DataNode.propertiesのKeyManagerJob※.keyMemoryに"false"と定義する。trueの場合すべてのKeyはメモリに保存されます。

（４）仮想メモリ用のデータファイル

• 用途:メモリを利用してKeyまたはValueを保存していた場合にメモリ枯渇が予想された場合にメモリの代わりにKeyとValueを保存するためのデータファイル
• 利用形態:（３）とほぼ同じ仕組みで構築されており、大量の小さなファイルにて構成されランダムアクセスによる入出力が行われる。
• 設定場所:DataNode.propertiesのKeyManagerJob*.virtualStoreDirsに定義されているデイレクトりの配下のファイル。
• 利用方法:DataNode.propertiesのKeyManagerJob*.virtualStoreDirsにディレクトリを定義し、KeyManagerJob*.memoryLimitSizeに0以上の数値を定義する。

上記のように大きく4種類に分けることができます。そして全てのファイルへのアクセスは並列にて行われます。そのため、出来るだけ異なるディスク上に配置することをおすすめします。特に、（１）と（２）は別のディスクにすることで書き込みと読み込みが同時に発生するようなシチュエーションで性能の向上が望めます。

ただし全てのサーバー環境で複数のディスクが利用できる訳ではありません。そこでそういった場合に性能を向上させるためのオプションとして、いくつかの機能を備えています。それが表1の機能になります。

表1：性能向上のためのオプション機能

3. まとめ

いかがだったでしょうか。okuyamaとサーバーリソースとの関係をつかんでいただけましたか？今回はあくまで概念の部分をご説明しましたが、次回はもっと運用に踏み込んだ話題を解説させていただこうと思っています。おたのしみに。