日立製作所は11月14日、オープンソースソフトウェア(OSS)のHadoopデータ処理基盤で行うビッグデータ分析を、最大100倍に高速化する技術を開発したと発表した。
本技術は、本来はソフトウェア処理に合わせて作られているデータ処理手順を、ハードウェア上の並列処理に適した手順に変換した上で、さまざまな形式のデータをFPGAで高速に処理することを可能にする。これにより、高速分析を行う場合でも多数のサーバが不要となり、データサイエンティストが行うインタラクティブ分析や、ビジネス現場での迅速な意思決定、タイムリーな情報提供サービスなどを、低コストで実現する。
開発した技術の特徴は、
1. FPGA向けに処理効率を最適化する、データ処理手順変換技術
2. さまざまなデータの形式を解析してFPGAで高速に処理する回路設計
となっている。本技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認したという。これにより、高速分析に必要なサーバー数を大幅に削減することができるため、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能になる。
(川原 龍人/びぎねっと)
[関連リンク]
リリースアナウンス
この記事をシェアしてください
この記事の筆者
関連記事
「超低遅延社会」を実現するかも知れないFPGAの可能性とは
2022年7月5日 6:30
Spark 2.0を活用した配電設備の負荷集計システムの性能検証
2016年12月1日 0:00
分散型データストアApache Kuduの特徴とユースケース
2019年3月29日 6:30
NEC、ビックデータ処理の高速化を実現するハードウェアを短期間で設計できる技術を開発
2012年9月4日 2:00
オープンソースの最新トピックと、ビジネス活用のポイント（OSPセミナーレポート前編）
2014年7月24日 4:30
KSKアナリティクス、統計解析オープンソースRの商用版「レボリューションR」の日本語サイトを開設し、国内サービスを開始
2014年4月19日 2:00
Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。
