JLDGにおける問題点

JLDGにおける問題点

 JLDGを構築するにあたり、大容量のデータを国内の複数の組織間で効率的に共有するための仕組みが必要となります。

 共有に先立ち、まず大容量のデータを格納する必要がありますが、物理的および論理的な制限により、すべてのデータを1つのファイルシステムに格納することは(お金に糸目をつけなければ)、一般に難しいです。例えば、Linux 2.4では、ブロックデバイスの最大が2TBでしたので、それ以上のファイルシステムは、単一のブロックデバイスでは作成できませんでした。もちろん、利用時に物理的に準備できるハードディスクの容量も関係してきます。

 このような事情から、複数のファイルシステムに保持することが多くなる訳ですが、その場合、ファイルをどのファイルシステムに保持したかを別途管理する必要があります。シンボリックリンクなどを利用すると、1つのディレクトリツリーに見せることができますが、マウントポイントの変更やディレクトリ構造の変更などにおける処理が煩雑になってしまいます。

 また、複数の機関で効率的にデータ共有するためには、それぞれの機関でデータのミラーリングを行うのが効果的です。が、このとき、どこにどういうデータをコピーしたか、データの更新があった場合、どのデータを更新する必要があるか、など適宜管理することが必要になってしまいます。

 ミラーリングも、すべてが同一ファイルシステム構成になっている訳ではないため、ファイル容量もまちまちで、結局、機関ごと、ファイルごとの特殊な設定が必要となってしまいます。

 また、解析したデータを複数組織のメンバからなる同一グループ内だけで共有し、さらに研究を進めることも必要とされていますが、別々のファイルシステムにおけるグループによるアクセス制御を実現するのは一般に困難です。

Gfarm広域ファイルシステムの活用

 このように、国内の複数の組織間で効率的に大容量のデータを共有するためには、これまでとても煩雑な処理が必要でした。

 これらの困難を解決するために、JLDGでファイル共有の基盤ソフトウエアとして利用されているのはGfarm広域ファイルシステムです。Gfarm広域ファイルシステムは、SourceForge(http://sf.net/projects/gfarm/)で公開されています。オープンソースで開発が進められているので、誰でも自由に利用することができます。次回からは、このJLDGの基盤システムとなっているGfarm広域ファイルシステムについて説明していきます。

 なお、JLDGに関しては国立情報学研究所によるインタビュー記事がありますので、そちら(http://www.sinet.ad.jp/case/tsukuba/interview)も参考にしてください。

[参考文献]

「JLDG: Japan Lattice Data Grid」(http://www.jldg.org/)(アクセス:2008年12月)

「Gfarm File System」(http://sourceforge.net/projects/gfarm/)(アクセス:2008年12月)
 

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30 【CNDW2025】Grafanaが明かす「オブザーバビリティの哲学」ー最小限の労力で実用的なインサイトを得るには 1月23日 6:30 【CNDW2025】プロダクト急増に備える基盤刷新 ーウェルスナビがECSからEKSへの移行で得た知見とは 1月15日 6:30 【CNDW2025】250環境を5人で運用、構築時間は30分に ーKINTOテクノロジーズが語るインフラ基盤組織の作り方 2025年12月18日 6:30 新たな自動化で熱視線! AIエージェントの「推論能力」を支える2つのコンポーネントとは? 2025年11月28日 6:30