JLDGによるGfarmファイルシステムの性能(1)

JLDGによるGfarmファイルシステムの性能(1)

 Gfarm広域ファイルシステムのソフトウエアディストリビューションに含まれるファイル入出力性能を計測するベンチマークthput-fsysで性能を測定します(図2-1)。

 筑波大学のクライアントからの書き込み性能は55MB/sec、読み込み性能は65MB/secでした。このベンチマークプログラムではtest.file1というファイルを作成します。ファイルは自動的に近くのファイルシステムノードに格納されているはずです。このファイルのファイルサイズと、実際に格納されているファイルシステムノードを調べてみましょう。格納先を調べるためにはgfwhereコマンドを利用します(図2-2)。

 これより、ベンチマークプログラムで作成したファイルサイズは1GBであり、同じつくば市にあるKEKのファイルシステムノードに格納されていることが分かります。KEKのファイルシステムノードとは1Gbps(=125MB/sec)のネットワーク帯域で接続されており、ネットワーク往復遅延は0.8msecです。lsコマンドの所要時間は0.01秒にも満たない位、gfwhereコマンドの所要時間は0.1秒でした。

JLDGによるGfarmファイルシステムの性能(2)

 次に、このファイルを地理的に遠い広島で参照してみましょう(図2-3)。つくばと広島のノード間のネットワークはSINET3で1Gbpsで接続されており、往復遅延は26msecです。

 gfarm2fsコマンドによるマウント時間、gfdfコマンドによるファイルシステム利用量詳細情報表示は0.7秒になりました。これくらいであれば遅いと感じる程ではありません。ここで、先ほど筑波大学のクライアントでマウントしていたファイルシステムと同じファイルシステムをマウントしていることに注意してください。次に先ほど筑波大学のクライアントで作成したファイルの情報の表示と読み込み性能を測定してみます。

 lsコマンドによるファイル情報の表示は0.02秒でほとんど変わりませんが、thput-fsysによるファイルの読み込み性能は19MB/secに落ちてしまいました(図2-4)。遠隔のファイル読み込みはブロック単位で読み込むため、26msecのネットワーク遅延が性能に影響を与えています。

 次は、このファイルの複製を広島に作成して、読み込みを行ってみます(図2-5)。gfrepコマンドによるファイル複製作成の性能は78MB/sec、thput-fsysコマンドによるファイル読み込みの性能は355MB/secにまで跳ね上がりました。ファイル複製作成が先ほどのファイル読み込みより性能が高いのは、ファイルをバルクで転送し、ネットワーク遅延の影響を少なくすることができるからです。複製作成後のファイル読み込み性能で355MB/secという高い性能が得られたのはファイルシステムノードでファイル参照を行っているためです。このとき、ファイルはローカルディスクに格納されているため、ファイル読み込みはローカルディスクからの読み込みとなります。

 このように特にネットワーク遅延の大きい場所からファイルサイズの大きなファイルを読み込む場合は、まず複製を作成してから読み込むことにより高い性能を得ることができます。また、そもそもファイル複製はファイルシステムノードの障害時におけるファイルアクセスの手段となりますので、ファイルシステムに余裕があれば作成しておいた方がよいです。

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30 【CNDW2025】Grafanaが明かす「オブザーバビリティの哲学」ー最小限の労力で実用的なインサイトを得るには 1月23日 6:30 【CNDW2025】プロダクト急増に備える基盤刷新 ーウェルスナビがECSからEKSへの移行で得た知見とは 1月15日 6:30 【CNDW2025】250環境を5人で運用、構築時間は30分に ーKINTOテクノロジーズが語るインフラ基盤組織の作り方 2025年12月18日 6:30 新たな自動化で熱視線! AIエージェントの「推論能力」を支える2つのコンポーネントとは? 2025年11月28日 6:30