DuckDB 通过 fts 扩展 支持全文搜索。
全文索引允许查询快速搜索较长文本字符串中所有出现的单个单词。
示例：莎士比亚语料库
这是一个构建莎士比亚戏剧全文索引的示例。
CREATE TABLE corpus AS
SELECT * FROM 'https://blobs.duckdb.org/data/shakespeare.parquet';
DESCRIBE corpus;
| 列名 | 列类型 | 是否为空 | 键 | 默认值 | 额外信息 |
|---|---|---|---|---|---|
| line_id | VARCHAR | 是 | NULL | NULL | NULL |
| play_name | VARCHAR | 是 | 空 | 空 | 空 |
| line_number | VARCHAR | 是 | NULL | NULL | NULL |
| speaker | VARCHAR | YES | NULL | NULL | NULL |
| text_entry | VARCHAR | 是 | NULL | NULL | NULL |
每行的文本在text_entry中，每行的唯一键在line_id中。
创建全文搜索索引
首先，我们创建索引，指定表名、唯一ID列和要索引的列。我们将只索引包含剧本中文本行的单列text_entry。
PRAGMA create_fts_index('corpus', 'line_id', 'text_entry');
现在可以使用Okapi BM25排名函数查询表格。没有匹配的行将返回NULL分数。
莎士比亚对黄油说了什么？
SELECT
fts_main_corpus.match_bm25(line_id, 'butter') AS score,
line_id, play_name, speaker, text_entry
FROM corpus
WHERE score IS NOT NULL
ORDER BY score DESC;
| 分数 | 行号 | 剧本名称 | 说话者 | 文本内容 |
|---|---|---|---|---|
| 4.427313429798464 | H4/2.4.494 | 亨利四世 | 承运人 | 像黄油一样胖。 |
| 3.836270302568675 | H4/1.2.21 | 亨利四世 | 福斯塔夫 | 鸡蛋和黄油的序幕。 |
| 3.836270302568675 | H4/2.1.55 | 亨利四世 | Chamberlain | 他们已经起床了，要求鸡蛋和黄油； |
| 3.3844488405497115 | H4/4.2.21 | 亨利四世 | 福斯塔夫 | 烤面包和黄油，肚子里没有心 |
| 3.3844488405497115 | H4/4.2.62 | 亨利四世 | 亨利王子 | 已经让你成为黄油了。但是告诉我，杰克，谁的 |
| 3.3844488405497115 | AWW/4.1.40 | 结局好一切都好 | PAROLLES | 黄油女人的嘴，再给自己买一个 |
| 3.3844488405497115 | AYLI/3.2.93 | 如你所愿 | TOUCHSTONE | 正确的黄油-女性等级到市场。 |
| 3.3844488405497115 | KL/2.4.132 | 李尔王 | 愚人 | 对他的马很仁慈，给他的干草涂了黄油。 |
| 3.0278411214953107 | AWW/5.2.9 | 结局好，一切都好 | 小丑 | 从此不再吃命运的黄油菜。 |
| 3.0278411214953107 | MWW/2.2.260 | 温莎的风流娘们 | 福斯塔夫 | 绞死他，这个机械的咸黄油流氓！我会 |
| 3.0278411214953107 | MWW/2.2.284 | 温莎的风流娘们 | FORD | 宁愿把我的黄油交给一个佛兰芒人，休牧师 |
| 3.0278411214953107 | MWW/3.5.7 | 温莎的风流娘们 | FALSTAFF | 我要把我的脑子拿出来涂上黄油，然后给 |
| 3.0278411214953107 | MWW/3.5.102 | 温莎的风流娘们 | FALSTAFF | 像黄油一样融化；一个不断消解的人 |
| 2.739219044070792 | H4/2.4.115 | 亨利四世 | 亨利王子 | 你从未见过泰坦亲吻一盘黄油吗？ |
与标准索引不同，全文索引不会随着底层数据的更改而自动更新，因此您需要在适当的时候PRAGMA drop_fts_index(my_fts_index)并重新创建它。
关于生成语料库表的说明
更多详情，请参阅“从JSON生成莎士比亚语料库以进行全文搜索”博客文章。
- 列包括：line_id, play_name, line_number, speaker, text_entry。
- 为了使全文搜索工作，我们需要为每一行提供一个唯一的键。
- line_id
KL/2.4.132表示《李尔王》，第2幕，第4场，第132行。