大切なのは「スケール」すること　キーパーソンが語るElasticの2017年

2016年12月15日に開催されたElasticのイベント「Elastic{ON} Tour 2016」の翌日、同社のCo-Founderで商用製品エンジニアリングリードのUri Boness氏と、シニアプロダクトマネージャーのShane Connelly氏に都内でインタビューを行った。

まずElasticはオランダのアムステルダムとシリコンバレーにHQがありますが、どうしてこの2ヶ所なのですか？

Boness氏：その通りです。現在はElasticのCEO、CTOそれに私はアムステルダムに、セールスのVPやマーケティングのVPなどはシリコンバレーにいます。どうしてこうなったかについては、Elasticの企業としての始まりを説明する必要がありますね。もともとオープンソースソフトウェアのLuceneの開発に関わっていたCo-FounderのShay Banonがイスラエルに、私とCEOのSteven Schuumanがアムステルダムにいて、Luceneのコミュニティを通じてお互いを知るようになったんです。その後、ShayがElasticsearchのプロジェクトを始めた後にElasticという企業を作るわけなんですが、イスラエルとオランダという国はそもそも私たちが作ろうとしていた製品のターゲットではなかったんですよ（笑）。なので、イスラエルよりもヨーロッパに近いアムステルダム、そして最も大きな市場であるシリコンバレーに拠点を作ることにした、という訳です。

Co-FounderのBoness氏

その当時のElasticsearchの製品としてのビジョンというのは何だったんですか？

Boness氏：その当時は、サーチといえばWebページにあるサーチバーだったわけです。アプリケーションからもサーチ機能を使うことができますよね。GoogleにとってのサーチはWebページを探すこと、Gmailにとってはメールを探すことだったわけですが、我々にとってサーチとはもっと広い対象、もっと色々なデータを検索することを目指したわけです。そのためにAPIを用意して、オープンソースソフトウェアとして公開しました。結果として、Elasticsearchは様々なユースケースで使われるようになりました。例えば、収集されたデータの検索やログデータの検索です。我々が「このように使ってください」と言う前に、すでに様々なユーザーやデベロッパーが我々の想像もしなかったような使い方をしてくれたということですね。

Connelly氏：これが実はオープンソースソフトウェアの利点だと思います。私は以前、HPで仕事をしていましたが、顧客からもらうフィードバックは製品の問題やトラブルだけでしたね（笑）。ダイレクトなコミュニケーションというのは、オープンソースソフトウェアならではと思います。つまり顧客にならなくても、単にダウンロードして使うユーザーも非常に多く存在しますし、デベロッパーも世界中にいます。それらの人々からダイレクトにフィードバックをもらう、そしてどのように使っているのかを知ることができるというのは、プロプライエタリなソフトウェアビジネスとは完全に違うと言えると思います。

シニアプロダクトマネージャーのConnelly氏

Boness氏：我々は、ユーザーとピンポンをしているようなモノです（笑）。何か新しいことをすると、それに対してすぐに反応が返ってくる。それを常に続けていくことが重要だと思います。

ユニークなユースケースの例として、Twitterの呟きを検索対象として実際の地震が発表される前にそれを検知しようというプロジェクトがあるのも知っていますし、ガンの研究にElasticsearchを使っているという事例もあります。実は我々にとって「ログの検索」というのは、一つのユースケースでしかないのです。

Elastic Stackは全てオープンソースソフトウェアとして公開されていますが、コミュニティとの関係はどのような感じですか？

Boness氏：Elasticは企業として非常に小さいですね。現在、従業員は426人で、大半がエンジニアです。それをはるかに超える多くの人たちが、Elasticsearchに関わってくれています。我々は常にコミュニティとの関係を重要視しています。そのためには我々はオープンな姿勢を持ち、敬意と責任感をもってコミュニティに向かい合っていると思います。我々は、全てのユーザーがソフトウェアに貢献すべきだとは思っていません。ユーザーは、自身でそれをするかどうかを決める自由があります。製品の方向性などを決める場合も、トレードオフが必ず存在します。それを十分に考え、コミュニティに公開し、ともに話し合いながら決めていくということが重要だと考えています。

Elasticが考える「製品にとって一番重要なこと」はなんですか？

Boness氏：これは非常にシンプルで「スケールすること」です。Elastic Stackが扱うデータは常に増大していますから、それを扱う製品がスケールできないのは間違っています。

Connelly氏：例えば新機能を実装する際に、100％の正しい答えが出せるがスケールしない方法と、エラーを含む可能性がある代わりに、スケールできる方法があるとします。スケールしない方法とスケールする方法のどちらかを選べと言われたら、スケールする方法を選ぶでしょう。またもう一つの重要なポイントは「デベロッパーフレンドリー」であることですね。そのためAPIを用意したり、様々なプログラミング言語から呼べるようにしたりという努力をしています。

ちょっと意地悪な質問ですが、昨日のカンファレンスではELK（Elasticsearch、Logstash、Kibana）の3つの製品にBeatsを加えてElastic Stackという形で説明をしていましたが、これはその組み合わせで使ってくれというメッセージなんでしょうか？　例えば、日本ではログ収集にはFluentdというソフトウェアが非常にポピュラーなのですが

Boness氏：我々はユーザーが使うソフトウェアに対して、何かを強制するというつもりはありあません。ただしユーザーに快適なユーザーエクスペリエンスを提供したいと常に考えています。そのためにElasticsearchとLogstash、そしてKibanaを組み合わせて使うことで、ユーザーエクスペリエンスを最も快適にできると考えています。とてもシンプルですぐに使い始められ、必要な結果が即座に得られる。そのためにエンジニアリングを行っているわけです。ユーザーにElasticsearchの何が良いのか？　と聞けば、すぐに使い始められることと、シンプルであることを挙げるでしょう。この点は、引き続き進めていこうと思っています。

Connelly氏：ユーザーはどんなツールを使っても良いと思います。Fluentdでも自作のデータ収集ツールでも、Elasticsearchは問題なく動くと思います。ただ我々は、LogstashとBeatsのどちらもソースコードを管理していますので、バグ修正やインテグレーションの場合には我々自身がテストを行って問題なく動くことを保証できるでしょうね。

Boness氏：もちろんすでにFluentdを使っているユーザーが、すぐにLogstashに乗り換える必要はないと思いますが、徐々に乗り換えていくことで、より良いユーザーエクスペリエンスを得られると思います。

昨日のデモでも印象的だった機械学習であるPrelertについてですが、これは使いたいユーザーは特別な機械学習の知識を必要とするものなのでしょうか？

Boness氏：Prelertはそのような汎用的な機械学習ツールではなく、非常にシンプルでよくある問題を解くためのツールです。これは「時系列データの異常検知」のためだけのツールなんです。そのために、とにかくシンプルにすることを目指しました。今はまだベータですが、来年には有償の製品であるX-Packの一部としてリリースできると思います。

Connelly氏：機械学習そのものは、非常に汎用な問題に対応できる技術なのです。例えば猫の写真を見分けたり、音声を認識したりできるわけですが、それらを解決するためには非常に多くの技術を知る必要がありました。一方Prelertは、もっとシンプルに時系列データの異常値を見つけるためのツールとして開発されています。

来年（2017年）の計画を教えてください。

Boness氏：全てを明かすことはできないんですが（笑）、とにかくElastic Stack 5.0を進化させていく、よりインテグレーションを進めていくということに尽きると思います。Prelertも来年には公開できるはずです。クラウドサービスであるElastic Cloudも推進していきます。何もかも予定通りにはいかないかもしれませんが、何か予期しない発見や新しい機能が突然出てくるかもしれません。我々の製品の機能はそのように開発されてきましたからね。日本にももっと投資を行って、トレーニングやサポートを充実させるつもりです。

Boness氏（左）とConnelly氏（右）

現状のElasticは、製品のElasticsearchがログの検索ツールとして広く使われていることによって知られているが、LogstashとKibana、それにBeatsと組み合わせてより包括的なプラットフォームとしての進化を狙っているようだ。日本法人にも引き続き投資を行うということで、活発に採用も行っているようだ。Elasticの2017年の活動に注目していきたい。