大規模化していくデータ・ウエアハウス

DWHの大規模化が生む課題

DWHが大規模化した要因はデータの増加ですが、この前提として、より多くのデータを扱えるようにDWHシステムが進化/発展してきたという状況があります。DWHシステムの歴史は図3の通りです。

DWHシステムに後押しされるかたちでDWHが大規模化していくことによって、さまざまな課題も明瞭（めいりょう）化してきています。その課題は、大きく分けると以下の2つに分類できます。

• （1）コストパフォーマンスの課題
• （2）拡張性の課題

（1）コストパフォーマンスの課題

まずコストには2通りの考え方があります。CashOut（キャッシュ・アウト）が発生する直接コストと、管理や手間が増大することで増える間接コストの2種類です。

DWHの大規模化に伴って増える直接コストはシンプルです。大規模になると、購入するハードウエアなどが保守料を含めて相当な金額になることは容易に想像がつきます。

購入金額の増大だけでなく、データが大規模化することでパフォーマンスが悪くなります。ある通信事業者では、RDBMSで作った容量20TバイトのDWHのために、6人のDBA（データベース管理者）を毎月外注しています。

「DWHが大規模になればなるほど、正比例を超えてコストがかかってくる一方で、パフォーマンスはあまり向上しない」。こうした課題は、DWHを扱った方なら誰もが経験していることでしょう。

一方、DWHの大規模化によって増える間接コストの増え方は、直接コストの比ではありません。より大規模に膨れ上がります。

例えば、DBAによるチューニング作業を内製化した場合の運用管理コストがあります。専門家に専門の教育を受ける費用は、意外と大きなものになります。

また、DWHが大規模化することで、ロードやクエリーのパフォーマンスを最適化するために、ロード専用のシステムやデータ・マートを数多く開発するコストと、その管理やバッチ処理といった莫大（ばくだい）な運用管理コストがかかります。

DWHへの要求は高まるばかりですが、その度に外部システムを構築していると、運用管理コストは多額になってしまいます。こうしてビジネス戦略の見直しを図る必要を迫られるといった、何のためにDWHを構築したのか分からなくなる本末転倒な事例も、現実的に起こっています。

海外のある流通業では、DWHのTCO（総保有コスト）試算をした結果、1Tバイトにつき1億円以上かかっているそうです。「DWHを戦略的に活用して競争力を強化するには、非常に多くのお金がかかる」。多くの企業の戦略担当者は、こうした認識を持っているのではないでしょうか。

拡張時にもコストが課題に

（2）拡張性の課題

DWHの初期導入コスト/運用コストを低く抑える方法を見つけたとして、次の大きな壁が拡張性です。扱うデータの増大に合わせてDWHシステムを拡張する必要があります。拡張時には、コスト面と柔軟性の2つの課題があります。

コストは、前ページでも説明したように、大規模になればなるほど、正比例を超えたかたちでかかります。また、最近流行しているDWHアプライアンスの場合、ある一定以上の拡張を行う場合はそっくり買い替える必要があったり、オプション機能の拡張時に購入時と同等の金額が必要になったりするのが現実です。

ただ、DWHアプライアンスであれば、投資額を増やすことで、投資に応じたパフォーマンスを手に入れることが可能です。オープン系のDWHの場合、そもそも投資に応じてパフォーマンスを増やすことができないケースが多くあります。

一方、柔軟性の課題には、DWHソリューションのビジネス・モデルに起因する課題と、DWHシステムに起因する課題の両面があります。このうち、ビジネス・モデルに起因する課題とは、必要な分だけの投資に抑えることができないというものです。厳しいビジネス環境下では、必要のない投資は避ける必要があります。

システムの課題としては、（2年でCPU性能が倍になるという）「ムーアの法則」が享受できないことを指摘されるケースが多くなってきています。オープン系DWHについてはCPU性能の恩恵がそれなりにあると考えられますが、DWHアプライアンスでは享受が困難です。

DWHアプライアンスは、セットアップされたハードウエアであり、発売時には1世代や2世代前のハードウエアを用いてCertified（認定）されます。CPUが進化しても、減価償却の問題から買い換えるわけにもいかず、古いテクノロジのまま増設し続けなければならないという「切ない課題」です。

実際に現場から報告された声としては、柔軟性の課題が大きな問題となっているようです。DWHアプライアンスの拡張時に買い替えが発生する「フォークリフト・バージョンアップ」も柔軟性に欠ける課題ですが、パフォーマンスを高めるために多くの「外部システム」を構築したことで、システム変更作業が困難を極めているようです。

ある金融系企業の言葉を借りれば、DWHの運用中に、IT部門が管理していない「影なるITシステム」が増殖することがあります。システム変更の際には、こうした「影なるITシステム」に影響が及ぶことは必至ですが、IT部門から中身が見えないため、大改修につながるか再構築となってしまいます。この結果、IT部門が手動で運用することとなり、直接コストこそ発生しないものの、TCOは大きく増加してしまいます。

DWHソリューションの光と影

ここまで解説してきたように、厳しいビジネス環境の下でDWHを活用する企業が増え、その結果として扱うデータ量が増大し、DWHの大規模が進みました。この一方で、大規模化するDWHに潜む課題は、コストの増大とビジネス・スピードの低下を招いています。

次回は、こうした課題を解決するDWHソリューションそのものにスポットをあてて解説します。新世代の「コモディティ型」も含めて、紹介します。