センサーデータ蓄積でKVSを活用するためのポイント

センサーデータ蓄積でKVSを活用するためのポイント

以上の検証結果から、センサーデータ蓄積でKVSを活用するためのポイントとして、以下の点がわかりました。

クラスタ台数の見積もり

今回の検証結果から、クラスタ台数見積もりのための基礎データが得られました。ディスク保存パターン（検証1、2）では、1台から4台までのクラスタ構成における、同時書き込みのピーク性能についてデータが得られました。

またメモリ・ディスク併用パターン（検証3、4）では、ピーク性能の検証はできませんでしたが、長時間書き込みの性能測定により、4台のクラスタ構成で安定稼働時の同時書き込み性能のデータが得られました。検証期間の都合により、クラスタ台数を増減させた場合の性能検証はできませんでしたが、方法としてはディスク保存パターンと同様にして検証が可能です。

大規模クラスタでは書き込み負荷分散が重要

メモリ・ディスク併用パターンでは、同時アクセス数が増加した場合にデータ振り分けがボトルネックとなりました。一方ディスク保存パターンでは、ディスクI/Oがボトルネックとなりましたが、クラスタ台数をさらに増やせばディスクI/Oのボトルネックが解消され、結果としてデータ振り分けがボトルネックになると予想できます。以上から、クラスタ規模が大きい場合には、アクセスが特定ノードに集中しないよう構成検討が必要です。

okuyamaであればマスタノードの台数追加、Riakであればロードバランサの導入による適切なアクセス分散が必要と考えます。

メモリ・ディスク併用パターンではメモリ容量に要注意

メモリ・ディスク併用パターンでは、確保したメモリを使い切った場合に性能が大幅に低下するため、センサーデータを受けきれなくなると予想できます。そのため、設計で十分なメモリ量を見積もる、運用でメモリ監視を行う、メモリ枯渇に備えスケールアウト運用の手順を整備しておく、などの注意が必要と考えます。

さて、3回にわたってKVSの同時書き込み性能検証についてご説明してきました。今回取り上げたIoTをはじめとして、NoSQLの利用シーンは今後ますます増えてくると思います。NoSQLをまだ使ったことがないという方も、まずは手軽に始められるOSSのokuyamaやRiakを試してみてはいかがでしょうか。今回の検証結果を、NoSQL活用に役立てていただければ嬉しいです。