徹底解説！Kubernetes上で動く機械学習プラットフォームKubeflow 第1回

Kubeflowとは

KubeflowはKubernetes上で動くクラウドネイティブな機械学習プラットフォームです。Kubeflowは、Google社内で使われていた機械学習基盤をオープンソースとして公開したもので、Kubernetes上での機械学習ワークフローのデプロイをシンプル、ポータブル、スケーラブルにすることをコンセプトとしています。

Kubeflowのコンポーネント

Kubeflowを構成するコンポーネントは主に次の通りとなっています。

Kubeflow UI（ダッシュボード）

Kubeflowを起動すると、以下のようなダッシュボードにアクセスできます。

図4-1：Kubeflow UI

Kubeflow UIは各種機能へのポータル画面となっています。基本的に機械学習モデルの開発者と運用者の作業は、この画面上から実行可能となっています。機械学習モデルの開発環境となるノートブックサーバーの起動や機械学習パイプラインの管理や実行・停止、実行履歴の閲覧、メタデータの参照ができます。

Notebook Servers

機械学習モデルの開発環境として広く利用されているJupyter notebookの環境が Kubeflowに統合されています。以下のような管理画面上で、ユーザー自身で新しいノートブックサーバーを起動し、その環境で機械学習モデルの開発や機械学習パイプラインの開発を進めることができます。

図4-2：Notebook Servers

Kubeflow Pipelines

Kubeflow Pipelinesは、機械学習パイプラインのステップをエンドツーエンドにオーケストレートするポータブルかつ、スケーラブルなワークフローツールで、Kubeflow の中で、もっともパワフルな機能ともいえるでしょう。

図4-3：Kubeflow Pipelines

図4-3は構築した機械学習パイプラインを可視化した例で、Kubeflow UIで参照することができます。Kubeflow Pipelinesでは、パイプライン内の各ステップはコンテナ化されるため、一度作ったパイプラインはさまざまな環境で再利用できます。

KFServing

作成した機械学習モデルを商用システムで利用可能にするためには、モデルをサービングし、推論結果を取得するためのインターフェースを公開する必要があります。KFServingは、TensorFlow、scikit-learn、PyTorchなど複数の機械学習フレームワークに対応しており、商用システムでの利用時におけるさまざまなユースケースに対応できる機能を提供しています。

なお、監視ツールはKubeflowの標準コンポーネントには含まれていませんが、GrafanaやPrometheusといった一般的な監視ツールとも容易に連携可能です。これはクラウドネイティブな機械学習プラットフォームならではのメリットと言えるでしょう。

機械学習パイプラインを構築するためのフレームワーク（TFX）

Kubeflow Pipelinesとして機械学習パイプラインを構築するためのフレームワークはいくつかありますが、本連載では、TensorFlow Extended（TFX）を使用して機械学習パイプラインの解説を行っていきます。TFXは、機械学習パイプラインを構成する一連のコンポーネントを提供しており、特にスケーラブルで高いパフォーマンスが必要な機械学習タスクを念頭に設計されています。

また、MLMD（Machine Learning Metadata：TFXのコンポーネントの一部）というメタデータ管理機能と連携することにより、TFXパイプラインが実行されると、それらの実行に関する情報（パラメータ等）や結果のアーティファクト（学習済みのモデル等）に関する情報を含むメタデータが自動で生成・保存されます。これにより、例えば、「特定のデータセットでトレーニングしたモデルは何か？」などを追跡することや、再現性を担保することができ、さまざまなユースケースを実現できます。まさに実運用を見据えた場合に、適したフレームワークとなっています。

TFXの主な特徴は以下の通りです。

研究開発から本番環境まで大小問わず幅広いユースケースをサポートしており、Kubeflowなどの機械学習プラットフォームと緊密に統合されています
機械学習を利用するプロジェクトにおいて求められる、さまざまな機能（例えば、データ検証を行うツールやモデル分析を行うツール）をアドオンとして組み合わせて利用することが可能です
オープンソースのツールであるため、利用に制限はありません

本連載では、機械学習パイプラインの構築に関する解説のうち、特にTFXについては、複数回にわたって詳しく解説する予定です。