日立製作所、Hadoopデータ処理基盤で行うビッグデータ分析を最大100倍に高速化する技術を開発

2017年11月14日(火)

日立製作所は11月14日、オープンソースソフトウェア(OSS)のHadoopデータ処理基盤で行うビッグデータ分析を、最大100倍に高速化する技術を開発したと発表した。

本技術は、本来はソフトウェア処理に合わせて作られているデータ処理手順を、ハードウェア上の並列処理に適した手順に変換した上で、さまざまな形式のデータをFPGAで高速に処理することを可能にする。これにより、高速分析を行う場合でも多数のサーバが不要となり、データサイエンティストが行うインタラクティブ分析や、ビジネス現場での迅速な意思決定、タイムリーな情報提供サービスなどを、低コストで実現する。

開発した技術の特徴は、
1. FPGA向けに処理効率を最適化する、データ処理手順変換技術
2. さまざまなデータの形式を解析してFPGAで高速に処理する回路設計
となっている。本技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認したという。これにより、高速分析に必要なサーバー数を大幅に削減することができるため、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能になる。

(川原龍人/びぎねっと)

[関連リンク]
リリースアナウンス

※本ニュース記事はびぎねっとITニュースから提供を受けて配信しています。
転載元はこちらをご覧ください。