DSAとETL

DSAとETL

DSA（Data Staging Area）とは、業務システムから抽出したデータをDWHにロードするまでの間、一時的にデータを置いておく（ステージングする）ための領域のことです。物理的には、OSのファイル・システム上のテキスト・ファイルもしくはRDB内のテーブルとして作成されます。

DSAを作成するのは、ここで業務システムのデータを分析用のデータとして適切な形に変換する必要があるためです。

DSAにおける処理は、（1）抽出、（2）一次クリーニング、（3）変換、（4）ロードの4段階に分かれます。これらの処理を総称してステージング処理、または、抽出（Extract）、変換（Transform）、ロード（Load）の頭文字をとってETL処理と呼びます。図3-1に、DSAの構成とステージング処理フローをまとめました。

ステージング処理の4つの段階に沿って、DSAを説明します。

（1）抽出

抽出処理は、業務システムから、BIシステムで必要とされるデータを抽出し、DSAに受信ファイルとして格納する処理です。業務システムのデータがオープン系のRDBに格納されている場合は、このデータベースにBIシステム側からクライアントとしてアクセスし、SQLでデータを直接抽出することになります。

（2）一次クリーニング

ここでは、次の変換処理の準備として、抽出した業務システムのデータ形式を変換したり、異常データを削除するなどの処理を行います。データ形式の変換としては、主に文字コードの変換を行います。異常データの削除としてよく行われる処理に、キャンセル・レコードの削除があります。

（3）変換

変換では、一次クリーニングされた抽出データを変換し、DWHを構成する各テーブルにロード可能なファイルを作成します。単純変換、クレンジング、統合化、集計などの処理を行います。クレンジングとは、DWHで決められた仕様に適合しないデータを排除する処理です。統合化とは、複数のソース・データから1つのDWHのテーブルを作成する処理のことです。

（4）ロード

ステージング処理の最後がロードです。DWHへのデータのロードは、データ量が大量になるため、SQLで1レコードずつインサートするということはありません。通常、使用するRDB製品の機能に応じた高速ローディング機能を使います。

ETLツール

以上4つの処理を総称してETL処理と呼ぶことは、すでに説明しましたが、これらの処理の開発を効率化し、実行を自動化するのがETLツールです。ETLツールの主な機能には、以下のようなものがあります。

• 抽出処理に必要なクエリーをGUIで自動生成する機能
• 一次クリーニング処理や変換処理に必要な処理プログラムをコンポーネント化しておき、それらを組み合わせて処理プログラムを完成させる機能
• 抽出からローディングに至る処理の実行フローをGUIでジョブとして定義し、スケジューラなどで自動実行する機能

ETLツールには、RDBやBIツールなどの製品の一部として提供されるもののほかに、単独で製品として販売されているものもあります。2010年3月時点で単独製品として販売されている主なETLツールは、図3-2のとおりです。

第3回の今回は、BIシステムに関連する技術を説明しました。次回は、最新のIT技術を利用したBIシステムの最新動向について説明します。