KubeCon Europe 2024からWASMとeBPFを使ってストリーム処理を解説するセッションを紹介

KubeCon＋CloudNativeCon Europe 2024から、WebAssemblyとeBPFを使ってログのストリーミング処理を行うデモを解説したセッションを紹介する。プレゼンターのMichael Yuan氏は、WebAssemblyのランタイムWasmEdgeの開発元でもあるSecond Stateの創業者兼CEOとして知られている。タイトルは「Fast and Efficient Log Processing with Wasm and eBPF」で、このカンファレンスではトレンドとなっていたWebAssemblyとeBPFが入っていることで注目されていたと言えるだろう。

●動画：Fast and Efficient Log Processing with Wasm and eBPF

Yuan氏はクラウドコンピューティングについて「結局は誰かのコンピュータを借りているだけだ」と説明してその場合、実行されるワークロードには安全で効率的な隔離（Isolation）が必要になると語った。

クラウドは誰かのコンピュータを借りているだけと説明

そしてクラウドコンピューティングが仮想化からコンテナ化と進んできた中で、次の進化はWebAssemblyによるより小さな単位でのワークロードの隔離だと説明。

仮想化からコンテナを経て新しい隔離方法はWebAssemblyによるアプリケーション実行へ

マイクロサービスにとってコンテナ化は効率的ではないと説明したのが次のスライドだ。

マイクロサービス、特にサービスメッシュはオーバーヘッドが大きいと指摘

コンテナ化されたワークロードが連係するサービスメッシュにおいては起動などにおいてオーバーヘッドが大きく、効率的ではないというレポートを引用して、クラウドコンピューティングのワークロードが細分化されていく場合にはコンテナのオーケストレーションは最適解ではないと紹介した。

WASMをコンテナのランタイムにするという方法を紹介

ここではコンテナのランタイムとしてWebAssemblyを使うことを提案。Second StateがWasmEdgeというランタイムを開発していることが背景だが、FermyonやCosmonicがWebAssemblyのワークロード実行のためのサーバー側の仕組みを開発していることと対比して考えると、この発想は当然だろう。またポータブルという部分については、CPUのアーキテクチャーの違い以外にGPUとそれに対応するライブラリーのバージョンなどによってさまざまなバリエーションの実行イメージが存在することを紹介して、WebAssemblyによる同じ実行イメージがどのマシンでも稼働するということが本来あるべき姿であると説明した。

CNCFの2022年のリサーチでもWASMが未来であると紹介

ここではCNCFが行った2022年のリサーチを引用して、WebAssemblyがコンテナの次にくるテクノロジーであると多くの企業が考えていることを説明。

WasmEdgeの解説

WebAssemblyのランタイムであるWasmEdgeについて解説し、データベースやキャッシュなどのサポート、生成型AIワークロードのサポートなどに加えて、すでにKubernetesで利用しているさまざまなツールがそのまま使えることを特徴として解説した。

Kubernetes環境でWasmEdgeを使う場合の概念図を説明

Kubernetes環境でのランタイムの解説ではハイレベルとローレベルのランタイム、Kubernetes以外のミニマム環境に向けたコンテナオーケストレーションツールもスライドに書かれているように、ムダなリソースを消費せずに効率的にワークロードを実行することを目指していることが感じられる。ちなみにここに書かれているローレベルのコンテナランタイムYoukiはRustで書かれたランタイムで、Preferred Networksの小松亨氏が開発を行っているオープンソースソフトウェアだ。

●参考：https://github.com/containers/youki

そして後半は、今回のテーマであるeBPFを使ってログのストリーミング処理を行う部分にWebAssemblyを使ったというデモの解説となった。ちなみにRedpandaが公開しているブログ記事とGitHubのページに詳細が解説されているので参考にして欲しい。

Redpandaのストリーミングエンジンを使ったログ処理の非同期高速処理を紹介

●参考：https://redpanda.com/blog/data-transformation-engine-with-wasm-runtime
（2024/05/24現在、非公開となっている）

●GitHub：https://github.com/WasmEdge/wasm-log-flex

ログデータ処理のフローチャートを紹介

このスライドではログデータの発生からログの分解から、対象となるデータベースに送られるまでが解説されている。なおYuan氏はこのデモアプリケーションがインターンの学生によって開発されたことを付け加えた。参加者に対して「WebAssemblyの開発はそれほど難しくない」ということを伝えたかったのかもしれない。

eBPFの実装はサイドカーではなくデーモンベース

そしてeBPFの実装にはサイドカーを使うのではなく、デーモンをベースにした実装方法を選択したことを説明。

eBPFの実装にWebAssemblyを活用した利点を解説

WebAssemblyを活用した利点として、コンテナに比較して100分の1のサイズに納めることができたこと、セキュリティを確保できたことなどを解説した。ここはWebAssemblyの利点がそのまま効いているということだろう。

LLMをWebAssembly上で動かすことの利点を説明

最後にこれまで何度かのプレゼンテーションで披露されてきた大規模言語モデル（LLM）の実行においても、WebAssembly、WasmEdgeが使えることを解説。これはYuan氏が特に力を入れて2023年後半からデモとプレゼンテーションを行ってきた内容で、過去に日本で行われたイベントでも解説とデモが行われているので参考にして欲しい。

●参考：Cloud Native Wasm Dayから大規模言語モデルをWasmで実行するデモを解説するセッションを紹介

セッション後に参加者からの質問に答えるYuan氏

eBPFとWebAssemblyというトレンドな単語がタイトルに入っていたためか、参加者も多く盛況でセッション後の質問も途切れないという状況だった。FermyonとCosmonicがフレームワークを中心としてエコシステムを形成しようとしているのに比べると、Kubernetesエコシステムの中でランタイムを中心として共存を目指しているSecond Stateの立ち位置が理解できるセッションとなった。