第2回:データを徹底活用する全文検索機能の仕組みと製品比較 (3/3)

Ludia
高性能なオープンソース全文検索システム「Ludia」

第2回:データを徹底活用する全文検索機能の仕組みと製品比較

著者:NTTデータ  加納 寿浩   2006/12/22
前のページ  1  2  3
全文検索ソフトウェアの比較

   商用のDBMSに、高度な全文検索機能が装備されたことは、連載の第1回にも記載しました。DBMSに対する全文検索は、DBMS本体での実現のほか、サードパーティによる外部モジュールでの対応もありますが、これはSQL文とは異なる個別のインターフェースを用います。ここではLudiaと同様に、SQL文でデータベース内の全文検索を行えるDBMS標準の機能のいくつかを比較します。

表1:全文検索機能の比較
(画像をクリックすると別ウィンドウに拡大図を表示します)

注1:V-gram:
N-gramの拡張方式


動作環境

   商用DBMSは、主要なUNIX環境全てとLinux環境、Windows環境で動作します。Ludia Ver.0.9はLinux上でのみ動作しますが、Ver.1.0に向けてWindows上でも動作可能とする予定です。


インデックス方式

   Oracle Textは、V-gramというN-gramの改良方式と単語インデックスの両方をサポートしています。N-gramでは、n文字固定でトークンを切り出すため、「ん」や小さい「っ」「ゃ」からはじまる無意味なトークンを切り出します。V-gramは、n文字固定で分割するのではなく、上記のような無意味なトークンを切り出さないようにトークン長を可変長としていることが特徴です。単語インデックスでは、単語辞書にない文字列はV-gramでトークンが生成され、検索漏れを防いでいます。

   Ludiaでは、単語インデックス/N-gramのいずれの全文検索インデックスもサポートしています。単語インデックスでは、形態素解析で分割されたトークンの部分一致でも検索することが可能です。これにより適合率と再現率のバランスをとった設定をすることが可能です。

   Oracle TextとLudiaでは、単語インデックスとN-gram(V-gram)の両方が使用できるため、列ごとに適合率を重視する列、再現率を重視する列と使い分けることが可能です。

Ludiaにおける全文検索インデックスの使い分け
図7:Ludiaにおける全文検索インデックスの使い分け


類義語検索

   シソーラスを用いた類義語検索は、商用DBMSのみの機能となります。Ludiaでは対応していません。

   想定される類義語をOR条件で並べて検索をするなどの工夫が必要となります。


バイナリファイル対応

   Oracle Textは、なんと100種類以上のバイナリファイルに対しても全文検索インデックスを設定し、高速に検索することが可能です。バイナリファイルの保管場所は、外部のファイルサーバでも、データベースのテーブルの中でも可能です。

   Ludia Ver.0.9はPDFファイルに対する検索が可能です。さらに、Ver.1.0でMicrosoft Officeの主なファイルも対応する予定です。バイナリファイルの保管場所はOracle Text同様に、外部のファイルサーバでも、データベースのテーブルの中でも可能です。


インデックス更新

   データベースに記録を挿入(または更新、削除)した結果が、全文検索インデックスに反映されるタイミングです。同期であれば、記録を挿入または更新した直後から、全文検索結果に反映されます。非同期の場合は、夜間などに差分データを一括して全文検索インデックスに反映します。

   商用DBMSでは、同期、非同期のいずれにも対応していますが、非同期を推奨しているようです。これは、更新SQLの性能劣化を防ぐためではないかと思われます。なお、Ludiaは同期更新のみ対応しています。

   次回は、Ludiaの導入手順と簡単な使用方法について解説します。

前のページ  1  2  3


株式会社NTTデータ 加納 寿浩
著者プロフィール
株式会社NTTデータ  加納 寿浩
日本でも有数の大規模システム更改プロジェクトに企画段階からサービス開始まで従事。主にメインフレーム上のデータベース性能対策を行う。その後、該当システムのオープン化検証にて、オープン系DBMSの評価を行った。2005年から現職。Ludiaプロジェクトの立ち上げを行う。


INDEX
第2回:データを徹底活用する全文検索機能の仕組みと製品比較
 今回の内容
 単語インデックスとN-gram
全文検索ソフトウェアの比較
高性能なオープンソース全文検索システム「Ludia」
第1回蓄積したデータを徹底活用〜全文検索
第2回データを徹底活用する全文検索機能の仕組みと製品比較
第3回Ludiaの導入準備
第4回Ludiaを体験
第5回Ludiaの多彩な検索機能の秘密
第6回柔軟に対応できるLudiaの検索機能
第7回全文検索を企業向けミッションクリティカルに

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

サーバやOSの保守期限、VMware環境の見直しといった節目に考える、Oracle AI Databaseの次期基盤。オンプレ継続・AWS・OCIそれぞれの特性と留意点を整理するWebセミナー 11月19日 16:00 AIエージェントの“見えないリスク”に備えてアイデンティティを「関係」で統制する 11月17日 6:25 AI生成コードをどう安全に使うか――決定論的検証とAutoFixで築く品質保証ワークフロー 11月16日 6:30 デジタル主権時代、データとモデルの持ち方は企業が主体的に定める 11月13日 6:25 ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30