ハッシングの実際

ハッシングの実際

 ハッシング+リンクトリストの基本構造を見てきましたが、この構造はさまざまなところで使われています。また、ハッシュの考え方は衝突は覚悟の上で、あるものをいくつかのグループに一意的に分類するのに役立ちます。そのような実例のいくつかを紹介しましょう。

 1つ目がバッファキャッシュです。リスト構造やツリー構造、そしてハッシュは基本ソフトウエアの中でたくさん使われています。その代表的なものがOSのファイル管理に使われるバッファキャッシュ(buffer cache)です。

 現代のOSの重要な機能のひとつにファイルシステムがあります。ファイルの入出力、特にハードディスクとの間でデータ転送(読み書き)を管理する際、データ転送の効率を上げるためにバッファキャッシュ、またはディスクキャッシュ(Disk Cache)と呼ばれるメカニズムを使います。

 ディスク上のファイルの読み書きは、最も下のレベルではブロック単位でのデータの転送を行います。ディスクI/Oでは物理的にはブロック単位の操作が基本です。そして、ディスク上の特定のブロックをファイルから読み込む際、いったんメモり上にその写し(copy)が作られます。一度メモリ上にコピーが作られれば、その後の入出力の際には、直接ディスクとのデータ転送は行わずに、このコピーに対して読み書きを行います。プログラムから見ればディスクへの書き出しを行う場合でも、実際にはこのコピーに対して書き込みが行われるだけで、ファイルを閉じるなど本当に必要なときにのみ実際のデータの書き出しが行われます。

 さて、このようなメモリ上のコピーがバッファキャッシュなのですが、これらに素早くアクセスするためにハッシュ+リンクトリストの構造が使われます。ディスク上のブロックの番号をハッシュ値に変換して、その値が同じものを1つのリンクトリストとして管理します(図2-1)。

バッファキャッシュの構造

 ここでは話を簡単にするために、グループを4つに分けています。つまり、メモリブロックは、ディスク上のブロック番号を4で割った余りの数値(0~3)をインデックスとするリストにつながることになります。

 さて、このメモリ上のキャッシュ領域も無限にはありませんから、これらを使い切った場合のことを考えなくてはなりません。キャッシュがいっぱいになった場合にはその一部を「解放」して再利用します。このために、未使用のバッファキャッシュのためのメモリブロックをフリーリスト(free list)として管理します(図2-2)。

 1つのディスクブロックに対応するメモリブロックは、同じ仲間-つまり同じハッシュ値をもったブロック-のリンクトリストとしてつながっていると同時に、フリーリストにもつながることになります。

 今、新たにブロック番号18をディスクから読み込む必要が生じたとします。対応するメモリブロック18はキャッシュ上にないので、どこかを空ける必要があります。このとき、フリーリストの先頭にあるブロック3番を空けます。

 こうして空けられたブロックが18番用になり、インデックス2の場所につながります(図2-3)。

 フリーリストの管理方法については詳述しませんが、LRU(Lease Recently Used)と呼ばれるアルゴリズムが使われるのが一般的です。つまり、「最近一番使われていなかったもの」を優先して解放します。今の例ではそれが3番のブロックでした。

 1つのメモリブロックが2つのリストの要素になっているというのはややこしいのですが、ハッシュ値によって分散されたリンクトリストであると同時に、その一部はフリーリストとして管理されるのです。

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30 【CNDW2025】Grafanaが明かす「オブザーバビリティの哲学」ー最小限の労力で実用的なインサイトを得るには 1月23日 6:30 【CNDW2025】プロダクト急増に備える基盤刷新 ーウェルスナビがECSからEKSへの移行で得た知見とは 1月15日 6:30 【CNDW2025】250環境を5人で運用、構築時間は30分に ーKINTOテクノロジーズが語るインフラ基盤組織の作り方 2025年12月18日 6:30 新たな自動化で熱視線! AIエージェントの「推論能力」を支える2つのコンポーネントとは? 2025年11月28日 6:30