次世代データセンターのロードマップ

2010年2月23日(火)
小宮 崇博

データセンター・ネットワークの広帯域化

これまで3回にわたって、次世代データセンターで使われるネットワーク基盤技術について解説してきた。最終回となる今回は、筆者が所属するブロケードコミュニケーションズシステムズ(米本社は米Brocade Communications Systems、以下Brocade)が考えている次世代データセンターのロードマップを示す。

なお、今回紹介する技術ロードマップは、2011年にターゲットを定めた将来の話である。したがって、技術的には現在開発中のものが多く、すべてを2010年中に出荷することはできないであろうことを、あらかじめお断りしておく。

Brocadeが現在開発している「ネットワークの広帯域化」技術はいくつかあるが、新しいところではEthernetファブリックの広帯域化が挙げられる。一方、Fibre Channel(FC)の分野では、等価コスト・マルチパス・ルーティング(Equal Cost Multi-Pathing: ECMP)を「Fabric Shortest Path First」(FSPF)という形で実現しており、広帯域化を実現している。

よく使われるSTP(Spanning Tree Protocol)では、ブロッキング・ポートができてしまい、等価コストのリンクを用いた広帯域化が実現できない。この半面、次世代の拡張EthernetではFCやRDMA(Remote Direct Memory Access)などのプロトコルも通るため、広帯域化は必須である。

こうした背景の下、Transparent Interconnects of Lots of Links(TRILL)という広帯域化のための新しい標準を、IETF(Internet Engineering Task Force)でディスカッションしている。Brocadeは、この標準技術を採用する予定である。この技術によりECMPが可能になる。

さらに、フローをECMPに分散するための仕組みとしては、FCで使っているDynamic Path Selection(DPS)やDynamic Load Sharing(DLS)などと等価な技術を導入する予定である。第3回で触れたフレーム・レベルでの分散を行うリンク・アグリゲーション技術については、既に実現済みである。

TRILLで広帯域化とルーティング自動化を実現

TRILLは、EthernetフレームをEthernetフレームでカプセル化する技術を使用している。ポートは、TRILLファブリック・ポートと、デバイスを接続するエッジ・ポートに分類される。図1-1に示したとおり、エッジ・ポートから流入するトラフィックは、カプセル化されてTRILLファブリック中に転送される。複数の等価コスト・パスがあれば、フローごとの分散が可能である。

TRILLファブリックのルーティング・プロトコルは、IS-IS(Intermediate System to Intermediate System)を使用する。IS-ISはもともとOSIプロトコル向けのルーティング・プロトコルの1つとして策定されており、IP(Internet Protocol)を必要としないのが特徴である。IS-ISにより、ルーティングを自動設定できるといった利点が生まれる。

一般にルーティングというと、IPのルーティング設定を思い浮かべるかもしれないが、データセンター・ネットワークは必ずしもIPネットワークだけを意味しない。FCIP(Fibre Channel over IP)やIBoIP(InfiniBand over IP)などの一部の広域接続を除けば、FCやIBを運用する際にルーティングを気にするエンジニアはいない。気にするエンジニアがいないからこそ、技術による解決が必要になる。

TRILLファブリックとIS-ISの下、フローはオーバレイ設定によって決めることができる。必要であれば、図1-2のように、データセンター内に複数存在する等価なパスの中から特定のものをネットワーク管理者が指定できる。

BrocadeはTRILLの標準化が完了次第、TRILLを実装した製品を出荷する。さらに、FCoE対応のデータセンター・スイッチである「Brocade 8000」や「Brocade DCX backbone director」にも、ファームウエアのアップグレードによって実装する予定である。

接続技術を高速化

データセンター・ネットワークを構成する個々の技術要素に対しては、常に高スループット化に対する要求がある。現時点では10Gbps(ビット/秒)のEthernetと8GbpsのFCがよく使われており、場合によっては40GbpsのIBも使われる。

第1回でも触れたが、Key-Value Store(キー・バリュー・ストア)やインメモリDB、SSD(Solid State Drive)などが登場したことにより、システムのボトルネックが従来のディスク・アクセスからネットワークなどに移ってきている。このため、ネットワークやシステムI/Oには、より広帯域化、低遅延化が求められている。

それぞれの技術ロードマップは以下の通りである。


【Ethernet】

  • 40Gbps: サーバー・インターコネクト向け。2012年ごろから市場に提供
  • 100Gbps: キャリア向け。Brocadeは2010年に製品化予定

【Fibre Channel】

  • 16Gbps: Brocadeはサーバー・アダプタとスイッチを2011年初頭には提供予定
  • 32Gbps: 40Gbps Ethernetと同時期(2012年ごろ)には提供可能

【PCI-Express】

  • 8GT/s: 各社より2011年ごろに提供開始

【InfiniBand】(BrocadeはIB製品は持っていないが、技術動向のみ記述)

  • 80Gbps: 各社より技術サンプル品が提供済み
  • 120Gbps: 特定のベンダーから技術の紹介があった

帯域が10Gbpsを超えてくると信号のS/N比が問題となってくるため、符号化技術や信号処理技術などが重要になる。FCやPCI-Expressでは、現時点で8b/10b符号化技術を使っているが、次世代ではスクランブル化と64b/66b符号化(FC)もしくは128b/130b符号化(PCI-Express)などを使用するようになる。

また、多くの接続技術では、マルチレーン化などの対応によって高速化を実現する。例えば、40Gbps Ethernetは10Gbps Ethernetを4本使い、100Gbps Ethernetは25Gbps Ethernetを4本使う。

次ページからは、次世代データセンターの主な用途である仮想サーバー環境に着目し、広帯域/低遅延に対する要求のほか、周辺技術の高速化動向について解説する。

ブロケードコミュニケーションズシステムズ
UNIXサーバメーカや運用管理ソフトウェアメーカでSEを勤め、2001年からブロケードに所属。主にFC-SANスイッチのプリセールスに携わり、2008年からは新技術、新製品の開発などの日本での技術サポートを行なう。現在は、ソリューション・マーケティングとして、FC-SANだけではなく、LAN/WANやI/O仮想化なども含めた広範なネットワークソリューションの提供に向け活動をしている。個人的にもストレージエリアネットワーク啓蒙のためのメーリングリストを主催している。
http://groups.yahoo.co.jp/group/san-tech/

Think ITメルマガ会員登録受付中

Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。

Think ITメルマガ会員のサービス内容を見る

他にもこの記事が読まれています