「データは新しいビジネスの通貨」日本初上陸のHadoop Summitレポート

2016年12月28日(水)
鈴木 教之(Think IT編集部)

去る10月26日、27日の2日間にかけて「Hadoop Summit」が国内で初開催された。コミュニティメンバーによるコミュニティのためのイベントで、これまで6,500を超える人々が参加しているという。技術者もビジネスでも楽しめるユーザーコミュニティになっている。

今回は87社から205にものぼるCFP(Call For Paper、セッションの公募)があり、その中から5トラック48セッションが採択された。また11個のビジネスセッションも用意されている。イベントをホストしたのはAPACで東京をはじめインド、シンガポール、オーストラリアに展開しているホートンワークス社。

我々のゴールはデータから価値を生み出すこと

オープニングキーノートにはホートンワークス社のVice PresidentであるShaun Connolly氏が登壇した。64%の企業がBigDataに投資しているがまだまだ管理されていないデータが存在するという。また、IoTに代表されるセンサーデータやモバイルなど、新たなデータが生まれ続けている。どのような業界でもデータ増加の影響を受けており、例えば保険会社が走行距離などのさまざまデータに基づき個人に最適な保険を提供するといった事例を紹介した。「いかにデータを扱い価値を生み出していくのかが重要だ」と説く。

従来型の技術では、先ほどの例に上げたような爆発的に増加する新しいデータには対応できずサイロ化されてしまっている。そのため活用できるデータが古く、事業予測が難しくなっている。データの可視化が難しくなっているためだ。同氏は、「実際にビジネスの取引を行う前からリアルタイムでデータを活用・分析しイノベーションを生み出していくこと、データの将来はそんな世界ではないか」と聴衆に語りかけ、講演を締めくくった。

進化を続けるHadoopのエコシステム

続いて登壇したのはリクルートテクノロジーズのビッグデータ部でマネージャーを務める石川信行氏。

リクルートでは2011年ごろからHadooopを使い始め、2013年あたりから単なるインフラではなくデータ活用のエコシステムとして捉えるようになったという。2015年には1PBを超えるデータを扱い、最近はSparkなどの利用も増えている。同社ではすべてのデータをHDFSにストアリングし、リリースサーバー174機、開発サーバー41機で、1,915TBものデータをHadoopで処理してきたという。

データ活用の実例としては、リクルートエージェントの転職のエンジンにAIを導入したことなどをあげ、マッチングアルゴリズムの最適化に利用している。また、顧客の検索履歴などをもとにしたパーソナライゼーションや、じゃらんやポンパレなどのレコメンデーションのシステムなどにも活用されている。

「Hadoopはリクルートにとって主要テクノロジーといっても過言ではない。またエコシステムの活用によって継続的に進化している。今後も、データを活用したソリューションをHadoopの進化とともに進めていきたい」と抱負を語った。

著者
鈴木 教之(Think IT編集部)
株式会社インプレス Think IT編集グループ 編集長

Think ITの編集長兼JapanContainerDaysオーガナイザー。2007年に新卒第一期としてインプレスグループに入社して以来、調査報告書や(紙|電子)書籍、Webなどさまざまなメディアに編集者として携わる。Think ITの企画や編集、サイト運営に取り組みながらimpress top gearシリーズなどのプログラミング書も手がけている。

連載バックナンバー

Think ITメルマガ会員登録受付中

Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。

Think ITメルマガ会員のサービス内容を見る

他にもこの記事が読まれています