CloudNative Days Fukuoka 2023イベントレポート第4回

CloudNative Days Fukuoka 2023、AIを用いたKubernetes運用のツールを解説するセッションを紹介

CloudNative Days Fukuoka 2023から、3-shakeのSREによるAIOpsの解説とK8sGPTの使い方を解説するセッションを紹介する。

2023年11月6日 6:00

2023年8月3日に開催されたCloudNative Days Fukuoka 2023から、3-shakeのSREであるnwiizo氏によるAIOps概説とK8sGPTを解説するセッションを紹介する。

●動画：k8sgpt Deep Dive: KubernetesクラスタのAI駆動型分析について

セッションを行うnwiizo氏

40分のセッション時間の内、前半の20分を使ってシステム運用における知識と経験の必要性を解説し、その後、AIOpsの定義、Gartnerの想定するAIOpsの動向に触れた後にGartnerの定義に従ってモニタリング、分析、自動化に分けてより細かな内容を解説した。調査会社の定義について実際にSREとしての経験からの洞察や「その定義が本当に正しいのか？」と言ったコメントなどは特になく、ひたすらGartnerの定義をなぞるだけになってしまっていたのは残念に感じた。

Gartnerの定義したAIOpsを3つの領域に分けて説明

またGartnerの予想では「2023年までにDevOpsチームの40％がアプリケーションとインフラストラクチャー監視ツールをAIOpsで強化する」として説明しているが、これに関しても特にコメントはなく自身の見解が見られなかった。

Gartnerのレポートについては以下を参照されたい。

●参考：Gartner、オンプレミスに関する展望を発表

Gartnerの予想では2023年にはDevOpsチームの40％がAIOpsを使うと説明

持ち時間の半分を使ってGartnerのレポートを総括に使った後はK8sGPTについて説明を行った。

K8sGPTの概要

ここからK8sGPTの解説に入ったが、コントリビューションを行っているエンジニアの内訳やサポートしている企業などの情報はなく、単にStarの増加が伸び悩んでいるというコメント行った。

K8sGPTの使い方としてCLI経由、Operatorとして実行の2種類があると説明

ここからはAIOpsの3つの領域に従って解説を行ったが、CLIとOperatorが同じ動作をするということが後の方で述べられているにもかかわらず、CLIとOperatorの違いに多くの時間を割いて解説している点は少々疑問に感じた。

K8sGPTのまとめ。CLIとOperatorの動作は同じと解説

ここではCLIとK8sGPT Operatorの動作が同じであること、Kubernetesのリコンサイルループ、定義された環境と実際の環境の差異をなくすようにKubernetesが環境を変更する自律的な動作原理が語られているが、その原理とK8sGPTは特に関係がなく、基本的な内容を再確認したということだろう。

そして残り5分というところで大規模言語モデル（LLM）が持つ限界、特に持っている情報だけで回答を生成する際に幻覚（ハルシネーション）を起こすことを説明。またK8sGPTはその限界のためか分析した結果から実際のシステム構成を変更することはないと説明。要は構成のミスを見つけてレポートは返すがそれを実行するかどうかは運用担当者の業務であるという意味だ。

LLMのハルシネーションとK8sGPTの実行能力の欠如を解説

この後でK8sGPTと外部ツールの連携としてTrivvyの例が紹介されたが、何よりもハルシネーションを起こすLLMであり、変更作業も運用担当者の仕事として残るのであれば、機械学習による運用ツールとしては使えないだろう。Googleがデータセンターの電力消費を減らすために機械学習を使った例と比べるとかなり乏しい結果と言える。

最後にnwiizo氏はまとめとして「AIの完全性の欠如」を理解した上で、個性的な同僚という見方で使うことを推奨していた。

完全であることを求めずに個性的な同僚として扱うことがポイント？

また道具としての大規模言語モデルというスライドでは、K8sGPTには結果に対する評価をフィードバックする機能が存在しないことを解説。ここではすでに作られている言語モデルに対してユーザーが修正を行うことができないことを示している。このポイントは非常に重要であるが、セッションの一番最後に明らかした理由は何だろうか。また大規模言語モデルとしてどのようなモデルが使われるのかについては、OpenAIを使う設定方法が公式サイトには書かれているだけだ。実際、そこに挙げられている実行例もnginxのイメージタグに誤ったデータを入れてそれを分析させるという非常に初歩的なものとなっているのも残念と言えるだろう。

●参考：公式サイトのドキュメント：https://docs.k8sgpt.ai/getting-started/getting-started/

K8sGPTにはフィードバックを取り込む機能がない

GartnerのAIOpsのレポートをなぞった解説、そしてK8sGPTの使い方ではなくSREとして「K8sGPTが本当に使い物になるのか？」なるとすれば「どう使うべきか？」ならないのであれば「何を改善するべきなのか？」そこまで解説して初めて「AI技術の導入と運用により具体的なイメージを持つことができる」のではないだろうか。何より現場で仕事をするSREとしての生の意見が見られない残念なセッションとなった。