広域ファイルシステム、Gfarm

Gfarm広域ファイルシステムの概要 Gfarm広域ファイルシステムは、オープンソースで研究開発が進められているファイルシステムです。どこからでも高速でアクセス可能な、広域の共有ファイルシステムの開発が目標です。

建部 修見

2009年1月14日 20:00

Gfarm広域ファイルシステムの概要

 Gfarm広域ファイルシステムは、オープンソースで研究開発が進められているファイルシステムです。どこからでも高速でアクセス可能な、広域の共有ファイルシステムの開発が目標です。

 ファイルは実際にはさまざまな場所に格納されますが、利用者はその格納場所を意識することなく仮想的なディレクトリ階層によりアクセスすることができます。

 複製管理をファイルシステムで行い、アクセスの局所性を利用するところに特徴があります。例えば、東京と大阪でファイル共有を行う場合、ファイル複製を東京と大阪に作成し、東京の利用者は東京のファイル複製、大阪の利用者は大阪のファイル複製にアクセスします。これにより、広域ネットワークの遅延やバンド幅に制限されることなく、効率的にアクセスすることができます。Gfarmファイルシステムのイメージを図1に示します。

 Gfarm広域ファイルシステムでは、広域環境において効率的にファイル共有するための工夫がいろいろなされています。本記事では、その工夫についていくつか紹介し、そしてソフトウエアの構築と導入方法を説明します。

アクセス局所性の利用とアクセス集中回避

 Gfarmファイルシステムでは、なるべく近くてアクセスされていないファイルにアクセスすることにより、ファイルアクセスの効率をあげています。

 なるべく近いファイルを選択するためには、ネットワーク上の距離を知る必要があります。Gfarmでは、各クライアントがそれぞれのファイルを格納するノードに対するRTT(Round Trip Time、ネットワークの往復遅延時間)を実行時に計測します。

 また、なるべくアクセスされていないファイルを選択するために、定期的にファイルを格納するノードのCPU負荷情報を収集します。この情報は、全クライアントで共有します。

 ファイルの複製は、ファイル参照時の負荷分散、遠隔からの低遅延、高バンド幅のアクセスおよび耐故障性のために利用されます。Gfarmでは、任意のファイルの複製を任意の数、任意の場所に作成可能なため、ディザスターリカバリーやホットファイルのアクセス集中回避などさまざまな要求に応じることができます。

 なお、ファイル複製は、ファイル参照時に必要に応じて作成することもできます。Gfarmではオンデマンドファイル複製作成として実装されています。

 ファイルの更新があった場合も複製間の一貫性は保たれます。ただし、今のところ無効化ベースの方式を用いているため、更新された複製以外の複製は消えてしまうので注意が必要です。

 続いて、ユーザー管理やアクセス制御、Gfarmの構成について解説します。

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30 【CNDW2025】Grafanaが明かす「オブザーバビリティの哲学」ー最小限の労力で実用的なインサイトを得るには 1月23日 6:30 【CNDW2025】プロダクト急増に備える基盤刷新 ーウェルスナビがECSからEKSへの移行で得た知見とは 1月15日 6:30 【CNDW2025】250環境を5人で運用、構築時間は30分に ーKINTOテクノロジーズが語るインフラ基盤組織の作り方 2025年12月18日 6:30 新たな自動化で熱視線! AIエージェントの「推論能力」を支える2つのコンポーネントとは? 2025年11月28日 6:30