OS Summit NA 2022でLFに参加したことが紹介されたOPIとは？

オースチンで開かれたOpen Source Summit NA 2022の2日目のキーノートで簡単に紹介されたOpen Programmable Infrastructure（OPI）について紹介する。カンファレンスのキーノートではOPIプロジェクトがThe Linux Foundationに参加したことが紹介され、Intelが提供したIPDK（Infrastructure Programmer Development Kit）がOPIのサブプロジェクトとなったこと、NVIDIAのDOCAもプロジェクトに寄贈されたことがプレスリリースの形で発表された。

OPI自体はIntel、F5、DELL、Marvell、Red Hat等が初期のメンバーとして参加し、すでに活動を始めており、2022年3月15日にオンラインで開催されたOPIEventというカンファレンスで概要やデータセンターにおける必要性などが解説されていた。そしてその3ヶ月後にLF配下になったというのが6月21日の発表の主旨ということになる。

キーノートでのOPIに関するスライド

LFのアナウンスメント：Linux Foundation Announces Open Programmable Infrastructure Project to Drive Open Standards for New Class of Cloud Native Infrastructure

解説となるスライド（PDF）：Building a Standards-Based Open Ecosystem for DPU/IPU Technologies

メンバーの一員であるF5のエンジニアであるPaul Pindell氏が解説した「What is the Open Programmable Infrastructure Project ?」という動画では、Pindell氏自身が体験した冬にクルマのワイパーを交換した経験を語り、「どのワイパーブレードを付ければ良いのか、マニュアルをみたら1ダースも別々のメーカーの製品について書かれていて困った」という経験を紹介。

動画：What is the Open Programmable Infrastructure Project ?

以下は上記スライドからの引用だ。

同じ役目なのにさまざまな形式が存在するワイパーブレードの例

同じ役割を果たす部品なのにメーカーによってさまざまな形式が存在しており、それらに互換性がないことを例に挙げて説明した。これは同じことがSmartNICにおいても起こっているとして、CPUに限りなく特化した実装となっていることがハードウェアを使うユーザーにとっては不利益となることを説明した。

CPUへの依存からの独立が重要

このスライドでは、CPUとPCI Express（PCIe）を介して接続されるNICを切り離して独立したプロセッシングユニットとして定義することで、単にデータ通信をオフロードするだけではなくさまざまな用途に使える仕組みであることを強調している。

この分離をすべてのプロセッサに適応するのがOPI

そしてより詳細にSmartNICを例に、モノリシックに密結合したCPUとSmartNICを分解して、APIを介して別プロセッサと疎結合となるアーキテクチャーを目指すのがOPIであるということが解説されている。

SmartNICがCPUと密結合なのに比べて疎結合なのがOPI

OPIはLFの配下のプロジェクトとなることでLFのガバナンスモデルを採用し、オープンなコミュニティとして活動することを選択したということになる。

プロジェクトの目的は共通したプログラミングモデルを作ること

LFに加入することで、成功の実績があるガバナンスモデルを採用することができる。さまざまなサブグループが作られ、それぞれにリードする人材が配置され、運用されることで透明性や認知を拡大することが可能になる。

LFのモデルに沿ったOPIのガバナンス

Open Source Summit NA 2022ではOPIに関するパネルディスカッションが行われ、NVIDIA、Marvell、Red Hatなどのエンジニアが登壇し、参加者からの質問に答えた。

OPIのパネルディスカッションのようす

このパネルディスカッションではRed HatのKris Murphy氏が中央に座って質疑応答を行っており、OPIの意義について、「CPU以外の特定用途に適したプロセッサが求められているが、それぞれが独自のインストラクションセットやAPIを持っていることでデベロッパーに対する負担が大きかったこと」「コードから実装までのライフサイクルを標準化することでその負担を軽くすること」「そしてロックインを防ぐこと」がゴールだと説明した。

これまでソフトウェアデベロッパーは、すでに存在するCPUのアーキテクチャーに沿ったコードを書くことで高速化やメモリーの効果的な使い方を実装してきた。これに対してOPIは、ソフトウェア側からハードウェアの使い方を定義する発想と言えるだろう。ソフトウェアベンダーのRed Hatが主導権を取っていることからもその意図は感じられる。ソフトウェアがハードウェアをリードする時代になってきたということだろう。

また参加者からの「標準化はどのレベルを目指すのか？」という質問には、あくまでもコミュニティとしての標準化であり、国際標準などとは違うという実質面を重視した姿勢であることがわかる。

対象となるプロセッサとしてDPU（Data Processing Unit）やIPU（Infrastructure Processing Unit）という名称が付いているようにNVIDIAのDPUであるBluefield、MarvellのIPUであるOcteonが想定されている。競合相手であっても標準化のためのコミュニティには積極的に参加するというやり方はオープンソース的であり、LFの配下としてよりその姿勢が強化されることが予想される。これまでのハードウェアに従属する独自でクローズなソフトウェア実装を極力避けたいという意志が現われていると言える。

DELLのMark Sanders氏が解説した動画で、より詳細な概要を知ることができる。

動画：OPIEvent - D/IPU Open API, The need for a Common Interface Framework - Dell Mark Sanders Mar 15 2022

DPU/IPUとしてネットワーク、ストレージ、セキュリティなどが機能として挙げられている

このイメージはDELLのSanders氏のプレゼンテーションからの引用だが、より具体的な使われ方の広さを知ることができる。

またOPIの背景については公式のGitHubページが参考になるだろう。

OPIのGitHub公式ページ：https://github.com/opiproject/opi

OPIEventではユーザーであるMetaのエンジニアが、ニーズが増え続ける機械学習についても大きな意味があることをプレゼンテーションしており、オープンなサーバーハードウェアを目指すOpen Compute Project（OCP）をリードしているMetaの意図と合致していることがわかる。

Metaのネットワークエンジニア、Nic Viljoen氏の動画：OPI Event Keynote: AI Training Clusters: Challenges @ DC Scale - Meta - Nic Viljoen Mar 15 2022

中国からはTencent Cloudが参加しているが、ハードウェアを開発製造する中国のベンダーの参加がこれからも増えていくのか、AMD/Xilinxなどの動向も含めて注目していきたい。