CODT2021、NTT ComがOSアップデートに関する失敗談を紹介

Cloud Operator Days Tokyo 2021から、NTTコミュニケーションズ株式会社（以下、NTT Com）が発表した「エンタープライズ向けクラウドサービスにおける大規模・商用環境でのホストOSバージョンアップ」というセッションを紹介する。これはタイトル通り、NTT Comが世界中に展開するエンタープライズ向けのクラウドサービスであるEnterprise Cloud（現在ではSmart Data Platform、SDPFと改名）における仮想サーバーのホストOSをアップグレードした際の経験を解説する内容となっている。実際の内容から考えれば「運用苦労話」というカテゴリーで語られるべき失敗談とその原因の追及、そしていかにリカバリーを行ったかという経験を詳細に説明したものである。

セッションの動画：エンタープライズ向けクラウドサービスにおける大規模・商用環境でのホストOSバージョンアップ

セッションを担当したのはNTT Comのソフトウェアアーキテクトである佐野成氏だ。

クラウドサービスを運用する「辛み（つらみ）」

タイトルではOSのバージョンアップに絞られているが内容は失敗談

次のスライドでこのセッションの語られる内容が挙げられているが、ここでも「エンタープライズ向けクラウドサービスの辛さ」について記述されており、この時点で次に失敗談が来るであろうことは想像できる。

セッションの概要に「辛さ」と「難しさ」が並んでいる

まずは対象となるクラウドサービスの紹介から始まった。世界中の13拠点に仮想マシンの総数として35,000台という規模のサービスであり、その中の仮想サーバーを提供するサービスが今回のバージョンアップの対象となる。ここではECLという名称からSDPFという現在の名称に変わったことが簡単に説明された。また提供するプラットフォームは、OpenStackをベースにしていることが解説された。

仮想サーバーサービスの概略

続いては仮想サーバーの中核となるコンピュートノードの紹介である。3つの世代のインテル製CPU（古い順にHaswell、Broadwell、Skylakeというコードネームで呼ばれる）を使ったサーバー40台のクラスター構成で36台がアクティブ、4台がホットスタンバイ状態となる。またホストOSもカノニカルのUbuntuとレッドハットのRHELを使った2種類が存在していることが解説された。

コンピュートノードの概要。2種類のホストOSを3世代のインテル製CPUで利用

ホストOSの違いによってコンピュートノードを世代として定義し、それをアップグレードするというのが今回のセッションのトピックである。

2つのホストOSをセットにして世代として管理

CPv1はUbuntu 14.04とRHEL7.4を使用するサーバー、CPv2はUbuntu16.04とRHEL7.6を使うサーバーだ。

また仮想サーバーのプラットフォームとなるOpenStackについてもバージョン管理が行われており、OpenStackとコンピュートノードのホストOSを交互にアップデートしていくというスパイラルアップデートという方法を採用している。

OpenStackとコンピュートノードのOSを交互にアップデート

そしてライブマイグレーションを使ってアップデートを行う仕組みを解説した。CPv1の上で稼働している仮想サーバーを別のCPv1のサーバーにマイグレーションした後で、元のCPv1のOSをCPv2にアップデート、その後でCPv1で稼働していた仮想サーバーを元のハードウェアにマイグレーションする方法を採用している。

コンピュートノードのローリングアップデートの方法を解説