「データは新しいビジネスの通貨」日本初上陸のHadoop Summitレポート

去る10月26日、27日の2日間にかけて「Hadoop Summit」が国内で初開催された。コミュニティメンバーによるコミュニティのためのイベントで、これまで6,500を超える人々が参加しているという。技術者もビジネスでも楽しめるユーザーコミュニティになっている。

今回は87社から205にものぼるCFP（Call For Paper、セッションの公募）があり、その中から5トラック48セッションが採択された。また11個のビジネスセッションも用意されている。イベントをホストしたのはAPACで東京をはじめインド、シンガポール、オーストラリアに展開しているホートンワークス社。

我々のゴールはデータから価値を生み出すこと

オープニングキーノートにはホートンワークス社のVice PresidentであるShaun Connolly氏が登壇した。64%の企業がBigDataに投資しているがまだまだ管理されていないデータが存在するという。また、IoTに代表されるセンサーデータやモバイルなど、新たなデータが生まれ続けている。どのような業界でもデータ増加の影響を受けており、例えば保険会社が走行距離などのさまざまデータに基づき個人に最適な保険を提供するといった事例を紹介した。「いかにデータを扱い価値を生み出していくのかが重要だ」と説く。

従来型の技術では、先ほどの例に上げたような爆発的に増加する新しいデータには対応できずサイロ化されてしまっている。そのため活用できるデータが古く、事業予測が難しくなっている。データの可視化が難しくなっているためだ。同氏は、「実際にビジネスの取引を行う前からリアルタイムでデータを活用・分析しイノベーションを生み出していくこと、データの将来はそんな世界ではないか」と聴衆に語りかけ、講演を締めくくった。

進化を続けるHadoopのエコシステム

続いて登壇したのはリクルートテクノロジーズのビッグデータ部でマネージャーを務める石川信行氏。

リクルートでは2011年ごろからHadooopを使い始め、2013年あたりから単なるインフラではなくデータ活用のエコシステムとして捉えるようになったという。2015年には1PBを超えるデータを扱い、最近はSparkなどの利用も増えている。同社ではすべてのデータをHDFSにストアリングし、リリースサーバー174機、開発サーバー41機で、1,915TBものデータをHadoopで処理してきたという。

データ活用の実例としては、リクルートエージェントの転職のエンジンにAIを導入したことなどをあげ、マッチングアルゴリズムの最適化に利用している。また、顧客の検索履歴などをもとにしたパーソナライゼーションや、じゃらんやポンパレなどのレコメンデーションのシステムなどにも活用されている。

「Hadoopはリクルートにとって主要テクノロジーといっても過言ではない。またエコシステムの活用によって継続的に進化している。今後も、データを活用したソリューションをHadoopの進化とともに進めていきたい」と抱負を語った。