「Oracle Cloud Hangout Cafe (OCHaCafe)」ダイジェスト第3回

Kubernetes Operator開発

Operatorを動作させる仕組み

まず、Operatorを動作させる仕組みを説明します。Opearatorの実装には、Kubernetesそのものにも利用されている非常に重要なライブラリを意識しておく必要があります。それが以下の2つです。

client-goは、Golangで実装されたKubernetesのクライアントライブラリで、主にkube-apiserverへのアクセスに利用します。これはKubernetesのバージョンに合ったバーション選択が必要です。どのバージョンを採用すれば良いかは、こちらに記載されています。

api/apimachineryは、Golangで実装されたKubernetes用ライブラリです。scheme、encoding/decoding、conversionなどの機能がまとまったものであり、Kubernetes API Object用のライブラリになります。

これらの2つのライブラリを利用してOperatorを実装することもできますが、これは各プログラミング言語で用意されているHTTPライブラリからアプリケーションフレームワークを実装するのと同じレベルで難易度が高くなります。そのため、実際にはこれら2つのライブラリをラップしたライブラリセットを利用します。

client-go/apimachineryを利用したライブラリセット

ここからは、client-goとapi/apimachineryをラップした、以下のライブラリセットについて見ていきます。

controller-runtimeは、Kubernetes SIGs(Special Interest Group)により開発されたGolangのライブラリセットです。代表的なコンポーネントの利用例は、Operatorが実装すべきインタフェースを定義したresource.Resourceです。このライブラリセットは、後述するKubebuilder/Operator SDKでも活用されています。

controller-toolsは、controller-runtime同様にKubernetes SIGs(Special Interest Group)により開発されたOperator開発を補助するためのライブラリのセットです。代表的なコンポーネントの利用例は、ソースコードの雛形を生成したり、ソースコードを元にManifest(CRDなど)を生成するcontroller-genです。このライブラリセットもcontroller-runtime同様に、後述するKubebuilder/Operator SDKで活用されています。

既出ですが、これらのライブラリセットを利用して、さらにOperatorを開発しやすくするためのSDKがあります。Kubebuilder、Operator SDKという2種類のSDKです。

Operatorを開発するためのSDK

ここからは、Operatorを開発するための以下の2つのSDKについて見ていきます。

・Kubebuilder
Kubebuilderは、Kubernetes SIGsにより開発されたSDKです。最新バージョンはv3.9.0(2023/2現在)です。前述した通り、controller-runtimeとcontroller-toolsを利用して実装されており、Dockerfile、プロジェクトの雛形やマニフェストを生成できます。他にも、コマンドによってOperatorに必要なもの一式が提供されており、開発者がロジックの実装だけに集中できるSDKです。

・Operator SDK
Operator SDKは、Operator FrameworkというKubernetes Operatorを開発/運用していくためのフレームワークセットの1つです。最新バージョンはv1.27.0(2023/2現在)です。CoreOS社(現Red Hat社)により開発されたもので、こちらもKubebuilder同様にcontroller-runtimeとcontroller-toolsを利用して実装されています。

また、Dockerfile、プロジェクトの雛形やマニフェストを生成することもできます。Kubebuilderと大きく異なるポイントとして、Operator SDKでは、運用を効率的に行うためにOperator Lifecycle Manager(OLM)を利用します。このOperator Lifecycle Manager(以下、OLM)もOperator Frameworkのフレームワークの1つです。

当日のセッションでは、OLMについて軽く触れているので、資料および動画を参照ください。

他にも、Operator SDKにはHelm ChartやAnsible Playbookのプラグインも存在します。

KubebuilderとOperator SDK

ここまで、KubebuilderとOperator SDKという2つのSDKについて見てきましたが、整理すると下図のようになります。

実は、この2つのSDKはメンテナンス主体が異なるだけで、目的や中身の実装は非常に似通っています。そこで、この2つのSDKを統合しようという動きがあります。

具体的には「Kubebuilder側をupstreamとして、Operator SDKをKubebuilderのラッパーにする」というものです。また、ドキュメントについてはOperator SDK側のドキュメントをKubebuilder側にマージし、Kubebuilder側で運用していくという方針になっています。

これについては、こちらでディスカッションされています。今後、この2つのSDKは統合が進んでいくことが想定されます。

Golang以外のSDK

ここまでGolangベースのSDKについて見てきましたが、Golang以外のSDKについても触れておこうと思います。今回は、以下の2つを取り上げます。

・Java Operator SDK
Java Operator SDKは、Red Hat社がメンテナンスしているJavaベースのSDKです。最新バージョンはv4.2.6(2023/2時点)です。このSDKは、MavenやGradleなどで依存関係を追加するだけでOperatorが開発できるため、Java開発者にとっては非常にメリットが大きいSDKです。

・kopf(Kubernetes Operators Framework for Python)
kopf(Kubernetes Operators Framework for Python)は、個人がメンテナンスしているPythonベースのSDKです。最新バージョンはv1.36.0(2023/2時点)です。元々はZalando社がメンテナンスしていましたが、当時の開発者がソースコードをforkしてメンテナンスが継続されています。

ここまで、Kubernetes Opratorを開発するSDKについて見てきました。次は、これまでに紹介してきたSDKのうち、Operator SDKを利用した実際の開発プロセスを見ていきます。

Operator SDKを利用した開発プロセス

Operator SDKでの実装パターン

まず、Operator SDKでの実装パターンについて整理します。Operator SDKでは開発手法として以下の3パターンが存在します。

実装パターン	概要
Go based	Operator SDKをGolangで開発するためのセット
Helm based(plugin)	既存HelmチャートをOperator Likeに扱うためのプラグイン、helm-operator(HelmチャートのためのOperator)がHelmチャートのリソース(CRとして生成)を統一的に管理
Ansible based(plugin)	既存Ansible PlaybookをOperator Likeに扱うためのプラグイン、ansible-operator(Ansible PlaybookのためのOperator)がAnsible Playbookの定義(CRとして生成)を統一的に管理

今回は、Go basedによる開発プロセスを説明します。

Operator SDKで利用するコマンド

Operator SDKでは、プロジェクト初期化などのプロジェクトに関する操作にはoperator-sdkコマンド、デプロイやコンテナビルドなどのOperatorに関する操作にはmakeコマンドを利用します。makeコマンドを利用することからも分かるように、Golangではコンパイル、依存関係の管理、インストールなどを行う際にMakefileを利用します。

今回利用するコマンドは、下図の通りです。