結果データを上手にまとめるには？

一時テーブルを作成する

　同一サーバー上であれば、下記のsql文でクエリ実行と同時に一時テーブルを作成できるのですが、図1（上）のように、子サーバーと、親サーバーが別のマシンの場合には、この方法は使えません。

CREATE TABLE [一時テーブル] AS SELECT * FROM [コピー元のテーブル]

　そこで、他サーバーの結果をパイプで受領し、それを親サーバーの一時テーブルに書き込みます。その実現方法にはいくつかあるかと思いますが、ここでは「マルチプルINSERTを使う方法」と「LOAD DATA INFILEを使う方法」の2つの方法を試してみます。

マルチプルINSERTを使う方法

　まず、マルチプルINSERTによる方法を紹介します。これは、それぞれのクエリの結果を受け取り、親サーバーのPHP側でSQL文を構築し、一時テーブルに挿入するものです。

　MySQLでは、複数の行を一気に挿入する方法としてマルチプルINSERTが提供されています。速度的に大変有利で、1行1行挿入する方法に比べて数倍から数十倍程度に速度が上がります。

　通常のINSERTでは、以下のように1行ずつ記述します。

INSERT INTO [挿入するテーブル] VALUES ('1-1', '1-2');
INSERT INTO [挿入するテーブル] VALUES ('2-1', '2-2');

　マルチプルINSERTでは、以下のようにVALUESの後の挿入句を、カンマ区切りで列挙するだけですので、大変シンプルです。

INSERT INTO [挿入するテーブル] VALUES ('1-1', '1-2'),('2-1', '2-2');

　ではここで「第2回：PHPで並列プログラミング（http://www.thinkit.co.jp/article/97/2/）」で紹介したサンプルコードを、図2に示したマルチプルINSERTに変更してみます。なお、マルチプルINSERTの効果を実感するために、検索のクエリを合計値を取得するものから、条件に合致するレコードの一覧を取得するものに変更します。

　ポイントは、44～48行目です。44行目で取得したクエリの結果は、タブ区切りになっているため、これをstr_replace関数などを用いて、マルチプルINSERTのSQL文に変換します。

　注意事項は、マルチプルINSERTのSQL文があまりに長くなると、MySQL側で拒絶されてしまうことです。その最大値はmy.cnfのmax_allowed_packetにて指定されており、デフォルトでは1MBのようです。このため、あまりに巨大な結果を一時テーブルに書き込む場合には、複数に分割して、max_allowd_packetよりも小さいSQLにしてください。

　図2のコードでは、親プロセス側でSQL文を構築していますが、32行目でmysqlコマンドをproc_openする代わりに、マルチプルINSERTのSQL文を出力するようなPHPをproc_openしても良いでしょう。上記のコードは、親サーバー上のPHPにて、巨大な文字列の置換とMySQLへのINSERTの双方を行っているため、親サーバーの負荷が大きくなる傾向にあります。

　何より、44行目でPHPのバッファを越えるような巨大な結果を受け取ることはできませんから、この方法にはおのずと限界はあると思います。そうした場合は、stream_get_contentsではなく、細切れにファイルポインタを読んではデータベースに書き込むといったわずらわしい処理が必要になります。

　このように、マルチプルINSERTを使う方法は、直感的に分かりやすいのですが、親サーバーの負荷が大きいとともに、クエリ結果のデータ量が多くなる場合を想定すると、さらに複雑なコードにする必要があるという欠点があります。