第2回:縦切りで不要カラムの呼び出しを解決! (2/2)

Sybase IQ
Sybase IQで学ぶデータウェアハウス

第2回:縦切りで不要カラムの呼び出しを解決!

著者:サイベース   2007/7/10
前のページ  1  2
カラムパーティション(カラムワイズアクセス)

   カラムパーティションという実装は、「データウェアハウスの特性と汎用RDBMSとのミスマッチ」で述べた「不要カラムの読み出しの問題」を解決します。
カラム単位の縦割り
図2:カラム単位の縦割り

   データはロードする際、カラム単位に「縦切り」され、入出力がカラム単位で行えるようになります。カラム同士の横のつながり、すなわちローの管理は個々のカラムが保有するIDで論理的に管理されます。多項目大量データを扱うデータウェアハウスにおいて、カラムパーティションを行うことにより、以下のようなメリットが得られます。

  • 不要カラムの読み込みを抑制することによるディスクI/Oの減少
  • 圧縮時の効率向上
  • 処理スピード(パッチ処理時間、レスポンスタイム)の向上

表1:カラムパーティションのメリット

   具体的な例をあげて、汎用RDBMSとの違うを説明します。今回は以下のような条件を想定してみます。

  • テーブルは、1ローあたり800バイト、1億ローから成る
  • 性別、州、保険の加入状況のカラムが含まれている
  • 「カリフォルニアで保険に加入していない男性」という条件で検索する

表2:想定した条件

   一般的なRDBMSの場合、ロー単位アクセスですから、800バイトのローを1000万件すべて、つまり80億バイト読み込む必要があります。仮にページサイズを16KBに設定していたとすると、ディスクのI/O回数は50万回となります。

汎用RDBMSのディスクアクセス量
図3:汎用RDBMSのディスクアクセス量
(画像をクリックすると別ウィンドウに拡大図を表示します)

   一方Sybase IQでは、性別、加入状況をそれぞれ1バイト、州を2バイトと仮定すると、カラム単位アクセスですから読み込み量は1000万バイト+1000万バイト+2000万バイトで、合計4000万バイト、同じく16KBのページサイズとすると、I/O回数はわずか2500回となります。

Sybase IQのディスクアクセス量
図4:Sybase IQのディスクアクセス量

   実際には、Sybase IQ側ではページが圧縮されるうえ、実際のページサイズは最低64KBと非常に大きいためI/O量はさらに減少し、汎用RDBMSとの差はもっと大きくなります。また、構造的にカラム単位でしかアクセスしないため、時間がかかる全テーブルスキャンに陥る可能性がありません。


次回は

   次回は今回説明できなかった「インデックス化(ビットワイズインデックス)」と「データ圧縮」について解説していきます。

前のページ  1  2

技術ホワイトペーパ「情報分析用高速クエリエンジンSybase IQ」

本連載はサイベースが提供している技術ホワイトペーパ「情報分析用高速クエリエンジンSybase IQ」の転載となります。Sybase IQのより詳細な内容については以下のページを参照してください。

http://www.sybase.jp/products/informationmanagement/sybaseIQ_moreInfo.html

サイベース株式会社
著者プロフィール
サイベース株式会社
1984年、カリフォルニア州バークレーで設立。情報の管理能力と、卓越したレベルでデータの信頼性とセキュリティを提供し、データセンターからアクションポイントまで、情報の管理と可動化のみに焦点を合わせた最大のグローバルエンタープライズソフトウェア企業として活動。サイベース株式会社は、米国 サイベース社 の日本法人として1991年に設立。


INDEX
第2回:縦切りで不要カラムの呼び出しを解決!
データ構造の違いをSybase IQで学ぶ
 カラムパーティション(カラムワイズアクセス)
Sybase IQで学ぶデータウェアハウス
第1回汎用RDBMSとデータウェアハウスの違い
第2回縦切りで不要カラムの呼び出しを解決!
第3回インデックスが9種類もある理由とは?
第4回ロード/検索性能比較!

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

サーバやOSの保守期限、VMware環境の見直しといった節目に考える、Oracle AI Databaseの次期基盤。オンプレ継続・AWS・OCIそれぞれの特性と留意点を整理するWebセミナー 11月19日 16:00 AIエージェントの“見えないリスク”に備えてアイデンティティを「関係」で統制する 11月17日 6:25 AI生成コードをどう安全に使うか――決定論的検証とAutoFixで築く品質保証ワークフロー 11月16日 6:30 デジタル主権時代、データとモデルの持ち方は企業が主体的に定める 11月13日 6:25 ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30