第4回:Ludiaを体験 (4/4)

Ludia
高性能なオープンソース全文検索システム「Ludia」

第4回:Ludiaを体験

著者:NTTデータ  加納 寿浩   2007/1/30
前のページ  1  2  3  4
データの登録

   ダウンロードしたCSVデータをcopy文にてテーブルに挿入します。各々、エラーなくcopyされたことを確認してください。
ludia=# copy zip from '/home/postgres/KEN_ALL.CSV' with csv;
COPY

ludia=# copy zip2 from '/home/postgres/KEN_ALL.CSV' with csv;
COPY


全文検索インデックス定義

   全文検索インデックスを定義します。zipテーブルには、単語インデックスを定義します。zip2テーブルには、N-gramインデックスを定義します。

ludia=# create index idx_word on zip using fulltext(address);
CREATE INDEX
ludia=# create index idx_ngram on zip2 using fulltextb(address);
CREATE INDEX
ludia=# \d zip
Table "public.zip"
Column|Type|Modifiers
−−−−−−−−−+−−−−−−−−−−−−−−+−−−−−−−−−−
zipcode|character(7)| 
address|text|
Indexes:
"idx_word" fulltext (address)

ludia=# \d zip2
Table "public.zip2"
Column|Type|Modifiers
−−−−−−−−−+−−−−−−−−−−−−−−+−−−−−−−−−−
zipcode|character(7)| 
address|text|
Indexes:
"idx_word" fulltext (address)

   各々指定した全文検索インデックスが設定されたことが確認できます。これで全文検索を行う準備は完了です。


いよいよ全文検索

   早速Ludiaを使用して全文検索を行ってみましょう。Ludiaでは、「@@」という演算子を定義しています。これを用い、where条件を指定することで全文検索が行えます。単語インデックス、N-gramインデックスいずれでも、同じ@@演算子で検索を行います。

ludia=# select * from zip where address @@ '茨木市春日';
zipcode|address
−−−−−−−−−−−−−−−+−−−−−−−−−−−−−−−
5670031|大阪府茨木市春日
(1 row)

ludia=# select * from zip2 where address @@ '茨木市春日';

zipcode|address
−−−−−−−−−−−−−−−+−−−−−−−−−−−−−−−
5670031|大阪府茨木市春日
(1 row)


   複数の検索キーワードをAND検索する場合は、各々のキーワードの前に「+」演算子を付与します。

ludia=# select * from zip where address @@ '+茨木市 +春日';
zipcode|address
−−−−−−−−−−−−−−−+−−−−−−−−−−−−−−−
5670031|大阪府茨木市春日
(1 row)

ludia=# select * from zip2 where address @@ '+茨木市 +春日';

zipcode|address
−−−−−−−−−−−−−−−+−−−−−−−−−−−−−−−
5670031|大阪府茨木市春日
5670046|大阪府茨木市南春日丘
5670048|大阪府茨木市北春日丘
(3 row)


   この例では、単語インデックスとN-gramインデックスによる結果の差異がでています。第2回の解説と、上記の住所をMeCabに投入してみて、どのように動作している(形態素解析している)のか確認してみてください。

前のページ  1  2  3  4


株式会社NTTデータ 加納 寿浩
著者プロフィール
株式会社NTTデータ  加納 寿浩
日本でも有数の大規模システム更改プロジェクトに企画段階からサービス開始まで従事。主にメインフレーム上のデータベース性能対策を行う。その後、該当システムのオープン化検証にて、オープン系DBMSの評価を行った。2005年から現職。Ludiaプロジェクトの立ち上げを行う。


INDEX
第4回:Ludiaを体験
 オープンソース全文検索の導入
 Sennaの導入
 Ludiaの動作環境設定
データの登録
高性能なオープンソース全文検索システム「Ludia」
第1回蓄積したデータを徹底活用〜全文検索
第2回データを徹底活用する全文検索機能の仕組みと製品比較
第3回Ludiaの導入準備
第4回Ludiaを体験
第5回Ludiaの多彩な検索機能の秘密
第6回柔軟に対応できるLudiaの検索機能
第7回全文検索を企業向けミッションクリティカルに

人気記事トップ10

人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ! Sponsored

サーバやOSの保守期限、VMware環境の見直しといった節目に考える、Oracle AI Databaseの次期基盤。オンプレ継続・AWS・OCIそれぞれの特性と留意点を整理するWebセミナー 11月19日 16:00 AIエージェントの“見えないリスク”に備えてアイデンティティを「関係」で統制する 11月17日 6:25 AI生成コードをどう安全に使うか――決定論的検証とAutoFixで築く品質保証ワークフロー 11月16日 6:30 デジタル主権時代、データとモデルの持ち方は企業が主体的に定める 11月13日 6:25 ClickHouse Cloudが実現した広告運用SaaS「ATOM」のデータ基盤革新、パフォーマンスを向上しながら、運用負荷とコストを削減 11月11日 6:20 AIで開発が加速する時代、品質保証はどう変わる? Tricentisが示すAIエージェント活用の実像 11月9日 6:45 悪用までの猶予が「1分」に迫るフロンティアAI時代に開発と本番を貫く脆弱性管理が必要 10月29日 8:30 欧州CRA対応とSBOM運用。AI生成コードのOSS混入問題の対策とは ――スニペット単位で検出する「FossID」「Insignary Clarity」によるSBOM運用 9月16日 6:40 PostgreSQLからTiDBへ、稼働中SaaSで進める段階的DB移行の実践と再設計への展望 9月7日 6:30 機能安全開発におけるGoogleTestの活用を支援!「Parasoft C/C++test CT」で実現する効率化&AI連携 4月14日 6:30