仮想化ホスティング基盤の構築を振り返る
利用技術の変遷
これまでにGrowServerが適用してきた技術を、順を追って説明します。
【テーブル1】GrowServerが適用してきた技術
| 年（バージョン） | 特徴 |
|---|---|
| 2004年（第1世代） | サーバー1台でVMware ESXを稼働 |
| 2005年春（第2世代） | FC-SANの共有ディスクによるVMotion |
| 2005年秋（第3世代） | SANmelodyによる共有ディスクの完全2重化 |
| 2006年（第3.1世代） | NetAppによる高性能ストレージ |
| 2007年（第4世代） | ブレード・サーバー化、デュアルCPU化 |
| 2008年（GS9） | クアッドCPU化、メモリー大容量化 |
| 2009年（GS10） | 6コアCPU、InfiniBand、10GbE iSCSI、SANsymphony 64ビット化 |
| 2010年（GS10-II） | 3PAR、半導体ストレージ |
毎年（短い時には半年ごとに）、新しい技術を導入して、GrowServerを文字通り進化させてきました。
第1世代
米Hewlett-PackardのProLiant DL380という2Uのサーバー単体で、VMware ESXを稼働させました。メモリーは、最大の12GBを搭載。CPUは2個（当時はもちろんシングル・コアです）。ディスクはローカル・ディスクをフル搭載しました（仕様はもはや不明）。この時の課題は、全体的なパフォーマンス不足です。
第2世代
第1世代ではCPUパワーが足りなかったため、HP ProLiant DL560という技術計算用の2Uサーバー（4CPU構成）を利用しました。
ストレージは、FC（FibreChannel） SANのHP StorageWorks MSA1000を利用することで、VMotionが可能となりました。この時の課題は、共有ストレージが抱えていたアキレスけんです。
MSA1000は、デュアル・コントローラ構成とし、FCスイッチも含めて2重化したのですが、コントローラがとにかくよく故障して、最終的にはシングル構成にして安定させた、というオチがあります。ハードウエア故障という名目で交換していましたが、実態はファームウエアのバグではなかったかと推測しています。この時の教訓は「中低価格の共有ストレージは、高機能をうたっていても、高度な使い方の下では、あまり使い物にならない」ということです。シンプルな構成で使うのが一番です。
第3世代
共有ストレージのアキレスけんを解消するために、米Data Core Softwareが開発したSANmelodyというストレージ仮想化ソフトを導入しました。きょう体間ミラーができて、無停止で、すべてのメンテナンスができました。サーバーをストレージ・キャッシュとして使えるため、32GBという大容量キャッシュで高パフォーマンスが出せるという優れものでした。
この第3世代は、1つの完成形で、営業的にもよく売れました。ところが、売れすぎて、ある時点でストレージのパフォーマンス不足が発生してしまいました。その時にネックとなったのは、SANmelodyから先につなげているFCストレージの、ディスク・コントローラの性能不足でした。いくら大容量のキャッシュがあっても、最終的にはストレージの性能に限界がくるということです。
第3.1世代
ストレージ性能にボトルネックがこないように、新たにストレージの機種選定を行いました。しかし、各ベンダーが性能データを公表していないため、難航しました。最終的には、日本版SOX法の絡みもあって、米NetAppのFAS3020を導入しました。
NetAppのOSであるData ONTAPは、容量管理、書き込みの最適化、スナップショットなどの面で、とても優れていました。シンプルで安定したシングル構成を採用し、この構成は今でも稼働しています。ただし、NetAppなどの高性能ストレージは、3年目からの保守料金が急激に高くなるので注意してください。ITコアでは、使用期間が3年を超えたものは、保守サービスを継続せずにバックアップ用に使用するといった工夫をしています。
VMwareサーバーは、米IBMのxSeries 366（4CPU、32GBメモリー）、SANmelodyサーバーは、xSeries 445（2CPU、32GBメモリー、PCI×18）という構成です。FCスイッチを使わずに、ストレージからSANmelodyサーバーにFCを直結するという構成にしました。これは、米Data Core Softwareの技術責任者が来日したときにアドバイスしてくれた構成です。高価なFCスイッチをなくすことができ、構成も非常にシンプルになりました。
第4世代
VMwareサーバーをブレード化しました。
米IBMと米Hewlett-Packard（HP）が候補になりましたが、HPのブレード第3世代であるc-Classが出たばかりで設計思想が良かったので、HPを選択しました。後から聞いたところによると、日本での初ユーザーだったとのことです。ストレージはSANmelodyを使っていて、こちらは外出しでProLiant DL380を使用しました。物理ストレージは、過去の教訓から半端なストレージは使わず、DL380のローカル・ディスクとSAS直結の拡張ディスクを使用しています。
GS9（GrowServer 9）
基本的な構成は、第4世代と変わっていません。クワッド・コアのCPUが出たことと、大容量メモリーが安くなったことを受け、仮想サーバーの価格を半額にしました。
GS10（GrowServer 10）
CPUとメモリーは大きくなったのですが、GS9ではストレージとのコネクションがボトルネックでした。そこで、米Xsigo Systemsが開発した、InfiniBandを使ってFCやiSCSIを仮想化する先進的な機器（I/O仮想化装置）を導入しました。
XsigoのI/O仮想化装置によって仮想サーバーの集約率も高まるため、仮想サーバーの価格を、思い切って1万円としました。GS10のサービスを開始する直前に価格を安く設定したこともあり、受注に対して設備の増強が追い付かず、特にストレージ性能が大きく不足してしまいました。
そこで、解決策としてたどり着いたのが、米3PARのストレージと、半導体ストレージです。3PARは、SunのStarFireの流れを汲んだ、とてもきれいなアーキテクチャを持っています。コントローラをメッシュ的に利用でき、データに対するアクセスも、物理ディスクの構造と切り離した分散的なI/Oアクセスが可能です。高性能、高可用性、シンプルな運用を実現できています。
