TOP＞比較データ＞ 検証内容および結果
OSS評価手法
オープンソースソフトウェアの性能・信頼性評価手法

第４回：アプリケーション・プログラムの動作解析機能の開発とそれを用いた解析
 著者：日立製作所  関 洋子   2005/6/6
前のページ  1  2  3  4
検証内容および結果

   トランザクション・タイプの投入割合は、SPECjAppServer2004アプリケーション自体を改変することなく、ドライバのインストール先ディレクトリ配下にある「config/run.properties」ファイル内のパラメータを変更することにより、容易に変更可能である。ここでは、投入割合をデフォルト値とした正規投入と、表4に示すように変更した4パターンの比較測定を実施した。なお、アプリケーションサーバは1台構成とした。
評価パターン Purchase Manage Browse
正規投入（デフォルト） 25 25 50
パターン1 99 1 0
パターン2 0 100 0
パターン3 0 0 100
パターン4 45 25 30

表4：投入割合の変更パターン

   処理性能の変化傾向を示す結果は、図3に示す通りである。ここで、図中の記号A〜Eは、これまで同様負荷の度合いを示すが、第2回および第3回の絶対値と必ずしも一致するものではないので注意されたい。

処理性能の変化傾向
図3：処理性能の変化傾向
SPECjAppServer is a trademark of the Standard Performance Evaluation Corp. (SPEC). The SPECjAppServer2004 results or findings in this publication have not been reviewed or approved by SPEC, therefore no comparison nor performance inference can be made against any published SPEC result. The official web site for SPECjAppServer2004 is located at http://www.spec.org/osg/jAppServer2004.

   結果からは、投入割合の変更に応じて処理性能が変化する様子が見て取れる。例えば、更新系トランザクションのPurchaseタイプの割合が大きくなるほど、より低い負荷レベルにおいて処理性能限界に達し、かつ、処理性能が低い傾向にあることがわかる。

   このようなことから、トランザクション・タイプの投入割合を変更することにより、SPECjAppServer2004をより実ユーザ環境に近い環境を模擬したベンチマーク・ツールとすることができると言えるだろう。

   また、時間的な都合により残念ながら実施には至らなかったが、前述のEJB Profilerを使用して測定すれば、メソッドの実行回数や平均実行時間がパターン毎に異なる様子を観察することが可能である。それにより、このような処理性能の変化の要因をある程度絞り込むことができるだろう。
投入割合の変更に関する制限

   読者の中には、表4掲載の投入割合を見て不自然に思われた方もいるだろう。当初、Purchase、Manage、Browseの順に、パターン1の割合を「100:0:0」、パターン4の割合を「50:25:25」としたところ、実際の投入割合が設定値と異なる事象や、SPECjAppServer2004終了時にドライバが生成する測定結果が正常に生成されない事象が見受けられた。そのため、表4に示す割合に変更したという経緯がある。

   このような事象の発生条件を見極めるために、トランザクション・タイプの割合をさらに変更し、設定値通りに投入されるかどうか検証した。その結果、ManageタイプとBrowseタイプの割合を等しい値に設定した場合に、上記の事象が発生するという結論に至った。もし読者の中に、SPECjAppServer2004を用いて同様の測定を実施しようとする方がおられたら、この点に注意されたい。
まとめ

   第2回から第4回までの3回に渡り、IPA（独立行政法人情報処理推進機構）および、日本OSS推進フォーラム・開発基盤ワーキンググループによって公開された「Javaアプリケーション層の評価」報告書を基に、評価手順ならびに評価結果を説明してきた。

   第2回では、バージョンの異なるカーネル上に構築したシステムの性能比較をした結果を、第3回では、JBossおよびWebLogicを用いて構築したシステムの性能を比較した結果を紹介した。最終回となる今回は、主に、よりミクロなレベルでの動作状況の掌握を支援することを目的としたツール「EJB Profiler」について紹介した。

   本連載にあたっての我々の目的は、我々の成果を周知することよりもむしろ、より多くの読者による成果の利用を促進することにある。OSSの変化は日々激しく、バージョンアップなどの理由により評価結果は一気に陳腐化する可能性も否めない。

   しかし評価手順は、今後長きに渡り、多少なりとも再現可能な部分があるものと期待する。読者各位におかれてもぜひ、評価手順を活用の上、ご自身で評価を実施して頂ければ至極幸いである。
前のページ  1  2  3  4

株式会社日立製作所 関 洋子
 著者プロフィール
株式会社日立製作所  関 洋子
1997年にシステム開発研究所に入所以降、ワークフローを中心としたBPM関連業務に従事。社内製品への新規機能提案や、Webサービス標準化推進に取り組んできたが、本プロジェクトよりOSS評価関連業務に携わることとなった。
INDEX
第4回：アプリケーション・プログラムの動作解析機能の開発とそれを用いた解析
  動作解析機能の提案
  SPECjAppServer2004への適用結果
  実ユーザ環境下への近似
検証内容および結果