リアルタイムデータ処理勉強会

ビッグデータをリアルタイムに処理するための、
Amazon Kinesis、Apache Storm、かもめGUSTを比較してみました！（リアルタイムデータ処理勉強会）

【対象者】
・IT企業で、ビッグデータ関連のソリューションをご担当者されている方
・ユーザ企業で、ビッグデータ関連の業務をご担当されている方
※今回はエンジニア向けの内容になっています。

【参加者のメリット】
・ビッグデータをリアルタイムに処理するための主要３製品（Amazon Kinesis、Apache Storm、かもめ GUST）の概要と違いが分かります！

【リアルタイムデータ処理とは】
・従来のHadoopに代表されるビッグデータ処理は、データを一定期間（例えば１日）蓄積し、それを高速にバッチ処理することで行っていました。
・しかし、スマートデバイスやIoTの普及により、データ量がさらに増加している状況の中で、よりリアルタイムにデータを処理したいというニーズが高まっています。
・「リアルタイムデータ処理」は、大量に発生するデータを、発生したタイミングで逐次リアルタイムで処理するデータ処理技術です。
・似たような方式として、Apache Sparkなどを使った方法がありますが、これはバッチ処理の単位を小さくし実行頻度を上げるというアプローチです。「リアルタイムデータ処理」はデータが発生した都度、１件ごとに処理します。
・「リアルタイムデータ処理」は、不正の検出、クリックストリームの分析、金融取引関連の警告、IoT関連デバイスのモニタリング、ソーシャル分析、ネットワーク監視など、リアルタイム性が要求される大量データ処理に適しています。