CNDO2021、シーゲートがリードするオブジェクトストレージCORTXを解説
CloudNative Days ONLINE 2021から、日本シーゲートのエンジニアがオープンソースソフトウェアのオブジェクトストレージCORTXを解説するセッションを紹介する。
CORTXは、Seagateが開発するソフトウェアデファインドストレージ(SDS)であり、AWSのストレージであるS3互換のオブジェクトストレージだ。プレゼンテーションを担当したのは、日本シーゲート株式会社の担当技師、岩田太郎氏だ。
このスライドのポイントは、箇条書きの部分ではなく、GitHubのURLからわかるようにSeagateの配下にコードが置かれているという部分だろう。
CORTXとよく似た名前のプロジェクトにCortexというものがある。こちらは、CNCFがホストするPrometheus as a Serviceを実装するオープンソースソフトウェアだ。CortexはWeaveworksが開発をスタートさせ、オープンソースソフトウェアとして公開し、現在はCNCFのIncubationプロジェクトとして活動を行っている。
通常は企業がスタートさせたオープンソースソフトウェアは、コミュニティに軸を移すタイミングで企業配下のURLから独立していくパターンが多い。CORTXがSeagateの配下であることは、問い合わせのメールアドレスが「cortx-questions@seagate.com」であることからも明らかだ。CORTXは、イギリスのSeagate支社によるHPC用のストレージをゼロから作り上げようという試みから、SAGE/SAGE2というリサーチプロジェクトのファンディングを元に2012年頃から開発が始まったというのが、GitHubのFAQに書かれているCORTXの経緯の概略だ。
参考:Seagate / cortx Frequently Asked Questions
FAQ全体をよく読むと「University of Edinburgh is.. CEA is..」のように未完成なままのセンテンスもあり、SeagateがCORTXにかける労力がそれほどでもないことがわかる。またARM版は?という質問に対する「現在、開発中」という素っ気ない回答や「CentOSのサポート終了に対して別のディストリビューション、例えばRocky Linuxを検討するのか?」に対する熱意の感じられない回答などを見ても、コミュニティで盛り上がっているというよりもSeagateがベンダーとしてコントロールしている感が強い。
ちなみにオープンソースの分散ストレージCephのオープンソース化が2006年、S3互換のオブジェクトストレージを実装するMinIOが2014年創業なので、この分野はそれほど長い歴史があるわけではない。MinIOは、Red Hatが買収したGlusterの共同創業者が創設したオブジェクトストレージに特化したベンチャーだ。
このスライドはCORTXのコンポーネントについて解説している。CentOS 7.9をベースにRabbitMQ、Consulなどを組み合わせて実装されている。
データプレーン、コントロールプレーンに分かれたデータパスがノード上のコンポーネントと通信を行いながら、分散オブジェクトストレージを実装している。ちなみにコアのコンポーネントはMotrと呼ばれる分散ストレージシステムで、基本的なデータストアAPIが用意され、メタデータはキーバリューストアであるConsulを使って実装されている。
ここではパフォーマンスをグラフィカルなインターフェイスで参照できることを説明し、AWSのID管理であるIAMと統合されていることを強調した。
MotrはCORTXのコアとして動作する分散データストアエンジンで、FAQによればLustre File Systemの初期の開発者がそのデザインに関わっているという。拡張性という部分ではスケールアウト、スケールアップの両方に対応できる設計になっているようだ。
このスライドではS3のAPI、アクセス管理のためのIAMのAPI、さらにアラートやヘルスチェックのためのAPIが実装されていることが説明された。
ここではCORTXのユースケースとして、ヨーロッパのリサーチプロジェクトSAGE/SAGE2で利用されていることが紹介された。もともとイギリスのSeagateから始まったこともあり、ヨーロッパでの利用が多いことは理解できる。
他にもMAESTROやESiWACE2(気象シミュレーション)などのプロジェクトでCORTXと関連するコンポーネントが使われていることを紹介した。2021年4月にSeagateが公開したニュースレターでは、University of ChicagoやUniversity of Wisconsin-MadisonなどでCORTXを使った実験や研究が進んでいることもわかる。しかし日本や北米の企業でのユースケースが確認できないのは残念と言えよう。
ここではエッジでの構成、ラックマウントの際の構成をリファレンスアーキテクチャーとして紹介した。
最後に技術的なトピックとして、COTRXが採用するHierarchical Erasure Codingを簡単に紹介してセッションを終えた。
約14分という短い時間の中でCORTXの概要を紹介したセッションとなったが、MinIOやCephなどとの比較や高い性能が要求されるHPCでの技術的な優位点などに絞って紹介するべきだったのではないか。Seagateの所有物という空気を一掃するためにも、Seagateのエンジニアによるオープンソースプロジェクトらしい啓蒙活動に期待したい。
連載バックナンバー
Think ITメルマガ会員登録受付中
全文検索エンジンによるおすすめ記事
- 「CloudNative Days Spring 2021 Online」開催レポート
- オープンソースのストレージ管理ソフトウェアSODAがオンラインカンファレンスを開催
- DellEMCのソフトウェアデファインドストレージのチームが来日、SDSの強化を解説
- CNDO 2021、KubernetesのバックアップツールVeleroを紹介
- Seagateが世界最速のSSDを発表
- Open Source Forum:Huaweiが開発をリードするSODAに注目
- 8周年を迎えたOpenStack Swift:Amazon S3との連携が強化、マルチクラウドとファイルシステムをサポート
- 日立のOSSコントリビュータに訊いた組織のあり方と失敗談
- TFXを使った機械学習パイプラインの構築(デプロイ編)
- KubeCon Europe 2024併催のCloud Native Wasm DayでOrangeが行ったセッションを紹介