2.Cloud DatastoreからCloud Storageへデータロードする

2.Cloud DatastoreからCloud Storageへデータロードする

BigQueryの動作が確認できたので、続いてCloud DatastoreからCloud Storageへのデータロードを実行します。Cloud DatastoreのデータをBigQueryへロードするには、Cloud Storageを介して行う必要があります。ここでは、まずCloud DatastoreからCloud Storageへのデータロード手順を解説し、その後Cloud StorageからBigQueryへのデータロード手順を解説します。なお、BigQueryにロードする元データは連載で使用したExcelデータよりも項目数の多いテーブルを使用しています。

【App Engineの管理者画面】

Cloud DatastoreからCloud StorageへデータロードするにはApp Engineの管理者画面を使用しますが、同時にDevelopers Consoleからの設定も必要になります。

①App EngineのMy Applications画面(https://appengine.google.com/)から、作成したprojectのProject IDを選択します。Project IDはApplication欄に表示されている名前です。

②表示される画面の左ペインからAdministrationの下にある「Application Settings」を選択し、スクロールすると「Built-ins」があるので、「Datastore Admin」を「enable」に設定します。初期設定の「Enable」ボタンをクリックすると「Enable」に設定できますが、表示は「Disable」になります(図7)。

 「Datastore Admin」を「Enable」にすると表示は「Disable」になる

図7:「Datastore Admin」を「Enable」にすると表示は「Disable」になる

【Developers Console】

③Developers Consoleに戻り、使用するプロジェクトでCloud DatastoreのデータをロードするCloud Storageのbucketを設定します。bucketの設定はDevelopers Consoleの左ペインで「Cloud Storage」を選択し、「Storage browser」をクリックして行います(図8)。

 Storage browserをクリックして表示

図8:Storage browserをクリックして表示になる

Bucketを新規作成する場合は、画面上部の「Create bucket」をクリックします。図9のように画面表示が変わるので、「Name、Storage class」および「Location」を入力しします。ここで、Nameにはバケット名(任意ですが、ここではdaysale150429)を、Storage classはデフォルト表示(Standard)のままにして、Lcationに「Asia」を選択します。

 Bucke名とStorage bclassのLocationを指定

図9:Bucke名とStorage bclassのLocationを指定

指定後、「Create」をクリックすると画面10のように画面表示が変わり、生成したBucket名(daysale150429)が画面上部に表示されます。

 Bucket作成後の画面表示

図10:Bucket作成後の画面表示

【App Engineの管理者画面】

App Engineの管理者画面に移り、Application欄にあるProjectIDを選択します。表示される画面の左ペイン「Dataセクション」下の「Datastore Admin」をクリックすると図11の画面が表示されるので、App Engine DatastoreからCloud Storageへロードするデータの「Entity Kind」(ここではdaysale)を選択します。

 App EngineのDatastore Admin画面

図11:App EngineのDatastore Admin画面

④Entity Kindを選択後、画面下部にある「Backup Entities」をクリックすると図12の画面が表示されます。

「Backup Entities」クリック後の画面表示

図12:「Backup Entities」クリック後の画面表示

「Backup storage destination」をデフォルトの「Blobstore」から「Google Cloud Storage」に変更します。図13の画面表示に変わるので、画面下部の「Google Cloud Storage bucket name」に図10の画面で指定したCloud Storageのbucket名(dayale150429)を入力し、他はそのままにして「Buckup Entries」をクリックします。

Backup storage destinationをGoogle Cloud Storageに変更しbucket名入力後の画面表示

図13:Backup storage destinationをGoogle Cloud Storageに変更しbucket名入力後の画面表示

【Cloud DatastoreからCloud Storageにデータロードを実行】

バックアップJOBが開始され、図14の画面表示に変わります。バックアップ(Cloud DatastoreからCloud Storageへのデータロード)が正常に実行されたどうかは図14下部の「Back to Datastore Admin」をクリックすれば確認できます。

Backupジョブの開始

図14:Backupジョブの開始

「Back to Datastore Admin」をクリックして表示される画面をスクロールすると、「Completed Operations」から実行したバックアップ(図12のBuckup name:「datastore_backup_2015_04_29」)が正常に完了した(Completed)ことを確認できます。

Backup完了後のDatastore Admin画面

図15:Backup完了後のDatastore Admin画面

この記事のキーワード :

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30 【CNDW2025】Grafanaが明かす「オブザーバビリティの哲学」ー最小限の労力で実用的なインサイトを得るには 1月23日 6:30 【CNDW2025】プロダクト急増に備える基盤刷新 ーウェルスナビがECSからEKSへの移行で得た知見とは 1月15日 6:30 【CNDW2025】250環境を5人で運用、構築時間は30分に ーKINTOテクノロジーズが語るインフラ基盤組織の作り方 2025年12月18日 6:30 新たな自動化で熱視線! AIエージェントの「推論能力」を支える2つのコンポーネントとは? 2025年11月28日 6:30