次世代データセンターのロードマップ
データセンター・ネットワークの広帯域化
これまで3回にわたって、次世代データセンターで使われるネットワーク基盤技術について解説してきた。最終回となる今回は、筆者が所属するブロケードコミュニケーションズシステムズ(米本社は米Brocade Communications Systems、以下Brocade)が考えている次世代データセンターのロードマップを示す。
なお、今回紹介する技術ロードマップは、2011年にターゲットを定めた将来の話である。したがって、技術的には現在開発中のものが多く、すべてを2010年中に出荷することはできないであろうことを、あらかじめお断りしておく。
Brocadeが現在開発している「ネットワークの広帯域化」技術はいくつかあるが、新しいところではEthernetファブリックの広帯域化が挙げられる。一方、Fibre Channel(FC)の分野では、等価コスト・マルチパス・ルーティング(Equal Cost Multi-Pathing: ECMP)を「Fabric Shortest Path First」(FSPF)という形で実現しており、広帯域化を実現している。
よく使われるSTP(Spanning Tree Protocol)では、ブロッキング・ポートができてしまい、等価コストのリンクを用いた広帯域化が実現できない。この半面、次世代の拡張EthernetではFCやRDMA(Remote Direct Memory Access)などのプロトコルも通るため、広帯域化は必須である。
こうした背景の下、Transparent Interconnects of Lots of Links(TRILL)という広帯域化のための新しい標準を、IETF(Internet Engineering Task Force)でディスカッションしている。Brocadeは、この標準技術を採用する予定である。この技術によりECMPが可能になる。
さらに、フローをECMPに分散するための仕組みとしては、FCで使っているDynamic Path Selection(DPS)やDynamic Load Sharing(DLS)などと等価な技術を導入する予定である。第3回で触れたフレーム・レベルでの分散を行うリンク・アグリゲーション技術については、既に実現済みである。
TRILLで広帯域化とルーティング自動化を実現
TRILLは、EthernetフレームをEthernetフレームでカプセル化する技術を使用している。ポートは、TRILLファブリック・ポートと、デバイスを接続するエッジ・ポートに分類される。図1-1に示したとおり、エッジ・ポートから流入するトラフィックは、カプセル化されてTRILLファブリック中に転送される。複数の等価コスト・パスがあれば、フローごとの分散が可能である。
TRILLファブリックのルーティング・プロトコルは、IS-IS(Intermediate System to Intermediate System)を使用する。IS-ISはもともとOSIプロトコル向けのルーティング・プロトコルの1つとして策定されており、IP(Internet Protocol)を必要としないのが特徴である。IS-ISにより、ルーティングを自動設定できるといった利点が生まれる。
一般にルーティングというと、IPのルーティング設定を思い浮かべるかもしれないが、データセンター・ネットワークは必ずしもIPネットワークだけを意味しない。FCIP(Fibre Channel over IP)やIBoIP(InfiniBand over IP)などの一部の広域接続を除けば、FCやIBを運用する際にルーティングを気にするエンジニアはいない。気にするエンジニアがいないからこそ、技術による解決が必要になる。
TRILLファブリックとIS-ISの下、フローはオーバレイ設定によって決めることができる。必要であれば、図1-2のように、データセンター内に複数存在する等価なパスの中から特定のものをネットワーク管理者が指定できる。
BrocadeはTRILLの標準化が完了次第、TRILLを実装した製品を出荷する。さらに、FCoE対応のデータセンター・スイッチである「Brocade 8000」や「Brocade DCX backbone director」にも、ファームウエアのアップグレードによって実装する予定である。
接続技術を高速化
データセンター・ネットワークを構成する個々の技術要素に対しては、常に高スループット化に対する要求がある。現時点では10Gbps(ビット/秒)のEthernetと8GbpsのFCがよく使われており、場合によっては40GbpsのIBも使われる。
第1回でも触れたが、Key-Value Store(キー・バリュー・ストア)やインメモリDB、SSD(Solid State Drive)などが登場したことにより、システムのボトルネックが従来のディスク・アクセスからネットワークなどに移ってきている。このため、ネットワークやシステムI/Oには、より広帯域化、低遅延化が求められている。
それぞれの技術ロードマップは以下の通りである。
【Ethernet】
- 40Gbps: サーバー・インターコネクト向け。2012年ごろから市場に提供
- 100Gbps: キャリア向け。Brocadeは2010年に製品化予定
【Fibre Channel】
- 16Gbps: Brocadeはサーバー・アダプタとスイッチを2011年初頭には提供予定
- 32Gbps: 40Gbps Ethernetと同時期(2012年ごろ)には提供可能
【PCI-Express】
- 8GT/s: 各社より2011年ごろに提供開始
【InfiniBand】(BrocadeはIB製品は持っていないが、技術動向のみ記述)
- 80Gbps: 各社より技術サンプル品が提供済み
- 120Gbps: 特定のベンダーから技術の紹介があった
帯域が10Gbpsを超えてくると信号のS/N比が問題となってくるため、符号化技術や信号処理技術などが重要になる。FCやPCI-Expressでは、現時点で8b/10b符号化技術を使っているが、次世代ではスクランブル化と64b/66b符号化(FC)もしくは128b/130b符号化(PCI-Express)などを使用するようになる。
また、多くの接続技術では、マルチレーン化などの対応によって高速化を実現する。例えば、40Gbps Ethernetは10Gbps Ethernetを4本使い、100Gbps Ethernetは25Gbps Ethernetを4本使う。
次ページからは、次世代データセンターの主な用途である仮想サーバー環境に着目し、広帯域/低遅延に対する要求のほか、周辺技術の高速化動向について解説する。