Google Driveと Cloud DatastoreのデータをBigQueryで使用する

2．Cloud DatastoreからCloud Storageへデータロードする

BigQueryの動作が確認できたので、続いてCloud DatastoreからCloud Storageへのデータロードを実行します。Cloud DatastoreのデータをBigQueryへロードするには、Cloud Storageを介して行う必要があります。ここでは、まずCloud DatastoreからCloud Storageへのデータロード手順を解説し、その後Cloud StorageからBigQueryへのデータロード手順を解説します。なお、BigQueryにロードする元データは連載で使用したExcelデータよりも項目数の多いテーブルを使用しています。

【App Engineの管理者画面】

Cloud DatastoreからCloud StorageへデータロードするにはApp Engineの管理者画面を使用しますが、同時にDevelopers Consoleからの設定も必要になります。

①App EngineのMy Applications画面（https://appengine.google.com/）から、作成したprojectのProject IDを選択します。Project IDはApplication欄に表示されている名前です。

②表示される画面の左ペインからAdministrationの下にある「Application Settings」を選択し、スクロールすると「Built-ins」があるので、「Datastore Admin」を「enable」に設定します。初期設定の「Enable」ボタンをクリックすると「Enable」に設定できますが、表示は「Disable」になります（図7）。

図7：「Datastore Admin」を「Enable」にすると表示は「Disable」になる

【Developers Console】

③Developers Consoleに戻り、使用するプロジェクトでCloud DatastoreのデータをロードするCloud Storageのbucketを設定します。bucketの設定はDevelopers Consoleの左ペインで「Cloud Storage」を選択し、「Storage browser」をクリックして行います（図8）。

図8：Storage browserをクリックして表示になる

Bucketを新規作成する場合は、画面上部の「Create bucket」をクリックします。図9のように画面表示が変わるので、「Name、Storage class」および「Location」を入力しします。ここで、Nameにはバケット名（任意ですが、ここではdaysale150429）を、Storage classはデフォルト表示（Standard）のままにして、Lcationに「Asia」を選択します。

図9：Bucke名とStorage bclassのLocationを指定

指定後、「Create」をクリックすると画面10のように画面表示が変わり、生成したBucket名（daysale150429）が画面上部に表示されます。

図10：Bucket作成後の画面表示

【App Engineの管理者画面】

App Engineの管理者画面に移り、Application欄にあるProjectIDを選択します。表示される画面の左ペイン「Dataセクション」下の「Datastore Admin」をクリックすると図11の画面が表示されるので、App Engine DatastoreからCloud Storageへロードするデータの「Entity Kind」（ここではdaysale）を選択します。

図11：App EngineのDatastore Admin画面

④Entity Kindを選択後、画面下部にある「Backup Entities」をクリックすると図12の画面が表示されます。

図12：「Backup Entities」クリック後の画面表示

「Backup storage destination」をデフォルトの「Blobstore」から「Google Cloud Storage」に変更します。図13の画面表示に変わるので、画面下部の「Google Cloud Storage bucket name」に図10の画面で指定したCloud Storageのbucket名（dayale150429）を入力し、他はそのままにして「Buckup Entries」をクリックします。

図13：Backup storage destinationをGoogle Cloud Storageに変更しbucket名入力後の画面表示

【Cloud DatastoreからCloud Storageにデータロードを実行】

バックアップJOBが開始され、図14の画面表示に変わります。バックアップ（Cloud DatastoreからCloud Storageへのデータロード）が正常に実行されたどうかは図14下部の「Back to Datastore Admin」をクリックすれば確認できます。

図14：Backupジョブの開始

「Back to Datastore Admin」をクリックして表示される画面をスクロールすると、「Completed Operations」から実行したバックアップ（図12のBuckup name:「datastore_backup_2015_04_29」）が正常に完了した（Completed）ことを確認できます。

図15：Backup完了後のDatastore Admin画面