第4回:Ludiaを体験 (1/4)

Ludia
高性能なオープンソース全文検索システム「Ludia」

第4回:Ludiaを体験

著者:NTTデータ  加納 寿浩   2007/1/30
1   2  3  4  次のページ
オープンソース全文検索の導入

   第3回では、オープンソースの全文検索システム「Ludia」を導入するための準備をすすめてきました。今回は、Ludiaに必要なソフトウェアいれ、実際に全文検索を行ってみます。

   さて、前回解説したようにLudiaのダウンロードが終わっていたら、それをFedora Core 6にインストールしていきます。現在、Ludiaはtarballでの提供のみですので、ソースからコンパイルしていきます。インストールは、MeCab、MeCab辞書、Senna、Ludiaの順序で行います。それでは、順に説明していきます。

Ludiaの解凍

   ludia-withdepsを解凍すると、Ludiaのソースがludia-0.9.0以下に展開されます。また、ludia-0.9.0/deps/以下にMeCabとMeCab辞書、Sennaのtarballが格納されます。


(画像をクリックすると別ウィンドウに拡大図を表示します)


MeCabのインストール

   MeCabをすでに導入されている場合、MeCabのバージョンを確認してください。Ver.0.91以前のバージョンの場合は、Ver.0.93を導入してください。Ver.0.91の場合、異常終了することがあります。

[postgres@cntd1952 ~]$ mecab -v
Mecab of 0.93

   では、MeCabとMeCab辞書をインストールします。なお、MeCabとMeCab辞書の文字セットは同一である必要があります。導入される環境に従って変更してください(値は、euc、sjis、utf8のいずれかになります)。

   まずは、MeCabをインストールします。


(画像をクリックすると別ウィンドウに拡大図を表示します)

   次にMeCabで使用する辞書をインストールします。ここでは、最新のIPA辞書を使用します。辞書は、単語インデックスを用いた全文検索時の適合率・再現率に大きな影響を与えます。辞書のメンテナンス(単語の追加など)は、IPA辞書がもっとも頻繁に行われているようです(とはいえ、年に1度程度です)。


(画像をクリックすると別ウィンドウに拡大図を表示します)

   以上で、MeCabのインストールは完了です。ここで、MeCabの動作確認をしておきます。

[postgres@cntd1952 deps]$ mecab
すもももももももものうち
すもも  名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も      助詞,係助詞,*,*,*,*,も,モ,モ
もも    名詞,一般,*,*,*,*,もも,モモ,モモ
も      助詞,係助詞,*,*,*,*,も,モ,モ
もも    名詞,一般,*,*,*,*,もも,モモ,モモ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
うち    名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
EOS
桃から生まれた桃太郎
桃      名詞,一般,*,*,*,*,桃,モモ,モモ
から    助詞,格助詞,一般,*,*,*,から,カラ,カラ
生まれ  動詞,自立,*,*,一段,連用形,生まれる,ウマレ,ウマレ
た      助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
桃太郎  名詞,固有名詞,一般,*,*,*,桃太郎,モモタロウ,モモタロー
EOS
(ctl+c)

   MeCabが正しく動作しない場合、MeCabとMeCab辞書のインストールログを確認し、どこかでエラーが発生していないか確認してください。

1   2  3  4  次のページ


株式会社NTTデータ 加納 寿浩
著者プロフィール
株式会社NTTデータ  加納 寿浩
日本でも有数の大規模システム更改プロジェクトに企画段階からサービス開始まで従事。主にメインフレーム上のデータベース性能対策を行う。その後、該当システムのオープン化検証にて、オープン系DBMSの評価を行った。2005年から現職。Ludiaプロジェクトの立ち上げを行う。


INDEX
第4回:Ludiaを体験
オープンソース全文検索の導入
 Sennaの導入
 Ludiaの動作環境設定
 データの登録
高性能なオープンソース全文検索システム「Ludia」
第1回蓄積したデータを徹底活用〜全文検索
第2回データを徹底活用する全文検索機能の仕組みと製品比較
第3回Ludiaの導入準備
第4回Ludiaを体験
第5回Ludiaの多彩な検索機能の秘密
第6回柔軟に対応できるLudiaの検索機能
第7回全文検索を企業向けミッションクリティカルに

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

サーバやOSの保守期限、VMware環境の見直しといった節目に考える、Oracle AI Databaseの次期基盤。オンプレ継続・AWS・OCIそれぞれの特性と留意点を整理するWebセミナー 11月19日 16:00 AIエージェントの“見えないリスク”に備えてアイデンティティを「関係」で統制する 11月17日 6:25 AI生成コードをどう安全に使うか――決定論的検証とAutoFixで築く品質保証ワークフロー 11月16日 6:30 デジタル主権時代、データとモデルの持ち方は企業が主体的に定める 11月13日 6:25 ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30