ビッグデータを並列処理するクラスタコンピューティングフレームワーク「Apache Spark 2.0」リリース

Apache Software Foundationは7月26日(現地時間)、ビッグデータを並列処理するクラスタコンピューティングフレームワーク「Apache Spark 2.0」をリリースした。

「Apache Spark」は、カリフォルニア大学バークレー校のAMPLabで開発されたフレームワーク。インタラクティブなアルゴリズムとデータマイニングに適合するよう、MapReduceを拡張することを目標としている。独自のDAGエンジンを搭載しており、ビッグデータを高速で処理することができるという。

「Apache Spark 2.0」はメジャーアップデートリリースとなっており、SparkSessionなどの新しいAPIが加わっているほか、SQL2003のサポートほか、さまざまな新機能が加わっている。なお、「1.x」系列に対しては基本的に後方互換性があるが、一部で失われているので注意が必要。

「Apache Spark 2.0」は、Webサイトから無償で入手できる。

(川原 龍人/びぎねっと)

[関連リンク]
リリースノート