Hadoopコースを攻略しよう（環境構築編）

Eclipseのインストール

MapReduceプログラムを書くために、Javaの開発環境を用意しましょう。メモ帳+JDKでも良いのですが、楽をするためにここではEclipseを使おうと思います。

“Eclipse IDE for Java Developers”の”Windows 64 Bit”を以下のリンクからダウンロードします。
＞　Eclipse IDE for Java Developers”の”Windows 64 Bitのダウンロード

ダウンロードが完了したら、ZIPファイルのブロックを解除します。

その後、Cドライブのどこか適当な場所へ展開してください。筆者はC:\opt\eclipseに置きました。

※なお、Dドライブには展開しないでください。Azure仮想マシンのDドライブは、BLOBストレージへ永続化されないテンポラリディスクです。再起動したぐらいでは消えませんが、Azure側のメンテナンスのタイミングなどで内容が失われることがあります。

Eclipseに限りませんが、よく使うプログラムは、タスクバーにピン留めしておくと便利です。

ストレージクライアントツールのインストール

HDInsightはBLOBストレージを舞台に動作しますから、何らかのストレージクライアントツールがあると大変便利です。よく利用されるツールとしては、例えば以下のようなものが挙げられます。

• “Azure Storage Explorer”
• “CloudXplorer”
• “CloudBerry Explorer for Azure Cloud Storage”

どれでもお好きなものをインストールしてください（筆者はたまたまCloudXplorerを利用していますが、もちろん他のツールでも構いません）。

以上で、ローカルマシン（といってもクラウド上にありますが）でMapReduceプログラムを開発・テスト実行するための環境が出来上がりました。

Azure HDInsightクラスターの作成

では、いよいよAzure上に本物のHDInsightクラスターを作成してみましょう。

Windows Azure PowerShellの初期設定

Azure PowerShellを使うと、Azure管理ポータルサイトで行うような各種管理操作（仮想マシンの作成・削除・起動・停止等）を、コマンドラインで行うことができます。もちろん、今回の主題であるHDInsightの操作もばっちりです。

これらの操作は、Azureの「サービス管理API」を呼び出すことで行われるのですが、その際は必ず認証が必要です（匿名のリクエストで仮想マシンの作成や削除ができては困りますから）。

方法は以下の2種類あります。

• Azure Active Directoryで認証する。
• クライアント証明書で認証する。

前者の方が手軽なのですが、認証に有効期限がありますので、定期的にコマンドを発行して更新しなければなりません。

今回は後者の方法をご紹介します（前者の方法は以前、筆者のブログで解説しましたのでよろしければご覧ください）。

まず、Azure PowerShellを起動してください。デフォルトではスタート画面にはピン留めされていませんので、アプリ一覧画面からアイコンを探すか、スタート画面で「powreshell」で検索してください。そしてピン留めしてしまいましょう。

こんなふうに聞かれたら、”A”でお願いします（“R”だと何度も聞かれます…）。

まず、次のコマンドを実行してください。

Get-AzurePublishSettingsFile

すると、Azure管理ポータルのログオン画面が出てきますので、管理ポータルへのログオンに使用するユーザー名とパスワードを入力します。

すると、拡張子が”.publishsettings”のファイルが降ってくるのでこれを保存します。

保存した. publishsettingsファイルを次のコマンドでインポートします。

Import-AzurePublishSettingsFile 先ほど保存した.publishsettings

以上で、Azure PowerShellの初期設定は完了です。