超並列DWHとユーザー定義関数

2010年3月10日(水)
中塚 裕美子/小平 啓一

大量データでも手間要らずのNetezza DWHアプライアンス

近年のデータ増加で、データ・ウエアハウスのサイズが想定以上になってしまったという企業は少なくありません。データが増えるということは、その企業の活動が活発であるということですから喜ばしいことです。しかし、データ・ウエアハウスは悲鳴を上げています。

その悲鳴とは、主に以下の3つです。

  1. 検索パフォーマンスが悪くなった
  2. データ取り込みの夜間処理が、朝までに終わらない
  3. 結果としてパフォーマンスチューニングや運用管理の手間がかかる

データ量の多さが原因ですが、大規模ならではのチューニングや管理の複雑さが原因でもあります。ノウハウがない、もしくは面倒だから手をかけない、だから、パフォーマンスが悪化していく…という悪循環です。

近年、このような問題への解決策としてさまざまなデータ・ウエアハウス専用にハードウエアを一体化した製品が増えてきています。ここでは「DWHアプライアンス」という言葉を最初に使いはじめたベンダーNetezza(ネティーザ)社の製品をご紹介しましょう。

もっとカンタンに運用できて、チューニングしなくても速いデータベースが作れないか、という発想のもとで開発されたのがNetezzaの「DWHアプライアンス」です(以下Netezza)。アプライアンスとは特定の機能に特化したコンピュータのことで、汎用性には欠けますがそのぶん設置や設定などの操作が簡単で性能を追求したものとなっています。データ・ウエアハウス用途に特化しているから、検索処理が速い、データローディングが速い、そして、アプライアンスだからカンタン、というのが特徴です。

それでは、Netezzaの速さの秘密を2つご紹介します。

速さの秘訣(ひけつ)その1:ハードウエアでSQL処理を行う

Netezzaには、SQL処理を行うハードウエア部品が搭載されています。

“SQL処理をするハードウエア”だなんてまったく想像がつかないかもしれませんが、『FPGA』というものを知っていただくと実態が理解できると思います。FPGA(Field Programmable Gate Array)は任意の論理回路の書き込み/書き換えができるLSIであり、近年ではDVDプレーヤーや画像処理ボードなど、少し複雑な処理が必要でかつ高速に動作する必要がある機器に多く採用されています。

一般的なデータベースの検索処理は、ディスクから共有メモリにデータを読み込み、メモリ上でクエリを実行します。メモリに読み込まれるデータはクエリ(SELECTやWHERE)でカラムとレコードを絞り込む前のデータブロックですので、サイズが大きいままです。データ・ウエアハウスではシステム内部で大量の「データの移動」が発生し、処理時間が遅い原因の1つとなります。

Netezzaは、このデータ自体を極力移動させないことでCPUが処理すべきデータ量を最小限に抑えています。ディスクI/Oコントローラのところで、レコードの可視化制御やSELECT句のカラム、WHERE句など条件の絞り込みを行ってしまい、メモリ上にデータブロックすべてを読み込まなくても良い仕組みとなっています。ここに使用されているのが『FPGA』です。

Netezza社はディスクからデータを読み込みながら不要なデータをフィルタリングする機能をFPGAに実装しました。さらに、圧縮してディスクに格納されているデータの解凍もこのFPGAで行われます。普通の解凍はOSの上のソフトウエアがサーバのCPUを使って処理しますが、Netezzaのデータの解凍はFPGAで行うため非常に高速なのです。

通常のシステムではCPUが処理するSQL処理の大半をFPGAが行う、まさに「ハードウエアでSQL処理」だから高速なのです。

著者
中塚 裕美子/小平 啓一
伊藤忠テクノソリューションズ株式会社 ソリューション営業第3部DWH/BIソリューション課
【中塚 裕美子プロフィール】
RDB論理設計、パフォーマンスチューニング、SYBASE製品のプリセールス、さらに、ITインフラ全般の構築部門を経て2006年より現職。あらゆるDWH製品に関わるプリセールスや構築支援に携わる。
【小平 啓一プロフィール】
1984年よりUNIXシステムの日本語化、画像データファイリングシステム・電子帳票システム製品の設計、開発を担当。UNIXを中心としたシステム間を接続したシステム開発を手がける。2006年よりDWH/BIの製品担当として製品検証・技術支援、開発に携わる。

Think ITメルマガ会員登録受付中

Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。

Think ITメルマガ会員のサービス内容を見る

他にもこの記事が読まれています