DBサーバーの負荷分散
MySQLアクセスを負荷分散する
ユーザーからのアクセス数が非常に多いWebサイトにおいて、MySQLのSLAVEサーバーを複数台並べて負荷分散させるということがよく行われています。ただ、Webアクセスの負荷分散は一般的なテーマなのでいろいろなところで語られているのに対し、DBアクセスの負荷分散というテーマは一般的でないのかあまり語られていないように感じます。
DBアクセスを負荷分散するにあたって一番荒っぽい方法は、Webサーバー上のプログラムの中でどのSLAVEサーバーに接続するかをランダムで決める方法です。ランダムと言っても長時間アクセスしているとほぼ接続先が均等化されるので、一見この方法でも問題ないように見えます。しかしこの方法だと、接続しに行こうとしたSLAVEサーバーが高負荷もしくはサービス停止中であっても構わず接続しに行ってしまうという問題があります。
このような問題を解決するためにWebサーバーとSLAVEサーバーとの間にロードバランサー(負荷分散装置)を適用するのはよい考えです。
ロードバランサーは一般的に以下のような仕組みで動作します。まず負荷分散させたいSLAVEサーバーグループにVIP(Virtual IP)と呼ばれるIPアドレスを1つ用意し、それをロードバランサーに登録します。するとVIPに対してアクセスが発生する度に、ロードバランサーがVIPにひも付いたSLAVEサーバーのいずれかにアクセスを振り分けるようになります。またロードバランサーにはヘルスチェックと呼ばれる仕組みが搭載されていて、いずれかのSLAVEサーバーに何らかの異常があった場合、それを自動検知してアクセスがそのSLAVEサーバーに振り分けられないようにしてくれます。
図1:システム構成 |
ということで今回はソフトウエアベースで負荷分散を実現するオープンソースを利用してみたいと思います。ソフトウエアベースの負荷分散システムにはいろいろありますが、今回はLVS(Linux Virtual Server)+ldirectordの組み合わせを取り上げてみたいと思います。
LVSはLinux上で動くオープンソースの負荷分散システムです。またldirectordはLVSで構築された実サーバー群のヘルスチェックやLVSの作動管理を行うデーモンです。ldirectordを使うとLVSの複雑な設定を比較的容易な設定で扱えるようにもなります。
LVSとldirectordのインストール方法
今回も便宜上CentOSを前提とさせていただきたいと思います。
まずはSLAVEサーバーをインストールしている2台のVPSサーバーにはそれそれ以下のような IPアドレスが割り当てられているものとします。
SLAVE1: 10.0.0.101 SLAVE2: 10.0.0.102
またVIPとして以下のIPアドレスを付与するものとします。VPSの契約形態によってはIPアドレスを利用者が勝手に増やせない場合もあるかと思います。その場合は残念ながら今回の負荷分散方式は利用できませんのでご注意ください。
VIP: 10.0.0.250
ということで、まずは今回必要となるソフトウエアを以下の要領でインストールします。
# yum -y install ipvsadm # yum -y install heartbeat # yum -y install heartbeat-ldirectord
次にldirectorの設定を行います。
# echo "" > /etc/ha.d/shellfuncs # vi /etc/ha.d/ldirectord.cf checktimeout=5 checkinterval=10 autoreload=yes logfile="/var/log/ldirectord.log" virtual=10.0.0.250:3306 real=10.0.0.101:3306 gate <- gateはパケット転送方式としてDirect Server Return (DSR)を表す real=10.0.0.102:3306 gate protocol=tcp checktype=connect <- ヘルスチェックの方法。TCP/IPトランスポート層での単純な接続テスト。 scheduler=lc <- 振り分けに使用するアルゴリズム。一番コネクション数の少ないホストに接続しに 行く設定(least connectionの略) netmask=255.255.255.255
続いてVirtualIPアドレスの設定を行います。
# vi /etc/sysconfig/network-scripts/ifcfg-eth0:0 DEVICE=eth0:0 IPADDR=10.0.0.250 NETMASK=255.255.255.255 # service network restart
設定が終わったら、ldirectordを起動します。
# service ldirectord start
以上で準備完了です。
MySQL SLAVEサーバー側の設定方法
次はMySQL SLAVEサーバー側の設定を行います。まずはループバックIPアドレスの設定を行います。ループバックIPアドレスとは、自分自身を表す特別なIPアドレスの1つです。VIPで指定されたIPアドレスに送られたパケットが各SLAVEサーバーでも受信されるようにするためには、ループバックIPアドレスを設定しておく必要があります。
# vi /etc/sysconfig/network-scripts/ifcfg-lo:0 DEVICE=lo:0 IPADDR=10.0.0.250 <- VIPを入力する NETMASK=255.255.255.255 # service network restart
次はループバックデバイスに割り当てられたip addressに対するarpに反応しないような設定をほどこします。この設定は重要ですので忘れずに行うようにしてください。
# vi /etc/sysctl.conf # Resolving the arp problem for LVS and ldirector. net.ipv4.conf.eth0.arp_ignore = 1 net.ipv4.conf.eth0.arp_announce = 2 # sysctl -p # sysctl -a | grep net.ipv4.conf.eth0.arp
これで設定完了です。
動作確認
あらかじめMySQLクライアントがインストールされているWebサーバーなどから以下の手順で接続確認を行います。
$ mysql -h 10.0.0.250 -uroot
もしくは以下の手順でコマンドラインから動作確認を行うことも可能です。
$ telnet 10.0.0.250 3306 Trying 10.0.0.250... Connected to 10.0.0.250 (10.0.0.250). Escape character is '^]'. 8 5.0.77-logg8#Jhc92,2!./$3}@dXl8lC ^] telnet> quit ・ ・ ・
LVS+ldirectordのメンテナンス方法
LVS+ldirectordを実際に扱う場合のメンテナンス方法を一通りご紹介いたします。
ldirectordの起動と停止(=LVSの起動と停止)
# service ldirectord start # service ldirectord stop
リアルサーバーの追加
# vi /etc/ha.d/ldirectord.cf real=10.0.0.101:3306 gate real=10.0.0.102:3306 gate
の要領で追加し、
# service ldirectord reload
とします。
接続状況の確認
# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 10.0.0.250:3306 lc -> 10.0.0.101:3306 Route 1 0 0 -> 10.0.0.102:3306 Route 1 0 0
ldirectordを使わずに手作業でLVSの設定をする場合
LVSの設定はldirectordの設定と比べてちょっと難しいです。
VIP追加(lcオプションは最小コネクション(lc) でリアルサーバーにバランスする)
# ipvsadm -A -t 10.0.0.250:3306 -s lc
削除したい時は以下
# ipvsadm -D -t 10.0.0.250:3306
VIPにひも付くリアルサーバーのIPアドレス(RIP)を追加 (-gはDSR、-mはNAT)
# ipvsadm -a -t 10.0.0.250:3306 -r 10.0.0.101 -g # ipvsadm -a -t 10.0.0.250:3306 -r 10.0.0.102 -g
削除したい時は以下
# ipvsadm -d -t 10.0.0.250:3306 -r 10.0.0.101 # ipvsadm -d -t 10.0.0.250:3306 -r 10.0.0.102
設定確認
# ipvsadm -Ln