对于SQL Server 的全文搜索技巧详细说明

SQL Server 的全文搜索(Full-Text Search）是基于分词的文本检索功能，依赖于全文索引。全文索引不同于传统的平衡树（B-Tree）索引和列存储索引，它是由数据表构成的，称作倒转索引（Invert Index），存储分词和行的唯一键的映射关系。倒转索引是在创建全文索引或更新全文索引时，由SQL Server自动创建和维护的。全文索引主要包含三种分析器：分词器（Word Breaker）、词干分析器（stemmer）和同义词分析器。全文索引中存储的数据是分词及其位置等信息，分词是基于特定语言的语法规则，按照特定的符号寻找词语的边界，把文本分解为“单词”，每一个单词叫做一个分词（term)；全文索引有时会提取分词的词干，把词干的多种派生形式存储为单一词干，这个过程叫做提取词干；根据用户提供的自定义同义词列表，把相关的单词转换为同义词，这个过程叫做提取同义词。

生成全文索引是把用户表中的文本数据进行分词（Word breaker）和提取词干（Stemmer），并转换同义词（Thesaurus），过滤掉分词中的停用词（Stopword），最后把处理之后的数据存储到全文索引中。把数据存储到全文数据的过程叫做填充（Populate）或爬虫（Crawl）进程，全文索引的更新方式可以手动填充，自动填充，或增量填充。

一，创建全文目录和唯一索引

创建全文索引之前，必须创建全文目录（Full-Text Catalog），全文目录用于组织全文索引，是全文索引的容器。每一个全文索引必须属于一个全文目录。全文目录是个逻辑结构，跟数据库的架构（Schema）相同，根据全文索引的存储位置无关。

create fulltext catalog catalog_test
as default;

为了创建全文索引，基础表上必须存在一个唯一的（unique）、单列的（single-column）、非空的（non-nullable）的索引，全文引擎使用该索引把基础表上的每行数据映射唯一索引键上，倒转索引存储的就是该索引键和分词之间的映射关系。

create unique index uidx_dbLogID 
on [dbo].[DatabaseLog]
([DatabaseLogID]);

二，创建全文索引

每个表只能创建一个全文索引，创建全文索引时，必须考虑全文索引存储的文件组，全文索引关联的停用词列表，全文索引的更新方式，以及跟文本关联的语言，全文索引列必须是文本字段，例如：

create fulltext index 
on [dbo].[DatabaseLog]
(
[tsql] language 1033
)
key index ui_dbLogID
on (catalog_test,filegroup [primary]) 
with(change_tracking=off ,no population ,stoplist=system);

1，语言（language）

选项 language 是可选的，用于指定列级别的语言，该选项的值可以是语言的名称或LCID，如果没有指定language选项，那么使用SQL Server实例的默认语言。从系统视图 sys.fulltext_languages (Transact-SQL)中查看系统支持的语言及其对应的LCID 和名称。

2，全文目录（fulltext_catalog）

选项fulltext_catalog_name 用于指定全文索引的分组，

3，文件组（filegroup）

选项 filegroup filegroup_name 用于指定全文索引存储的文件组，如果没有指定文件组，那么全文索引和基础表存储在相同的文件组中。由于更新全文索引是IO密集型操作，因此，为了更快的更新全文索引，最好把全文索引存储在不同于基础表的的物理硬盘或文件组上，以达到最大的IO并发。

4，填充全文索引的方式

和普通的索引相同，当基础表数据更新时，全文索引必须自动更新，这是系统默认的行为，也可以配置手动更新全文索引，或者间隔特定的时间点自动更新全文索引。

选项CHANGE_TRACKING 用于指定跟全文索引列相关的数据更新（Update，Delete，或Insert）是否需要同步到全文索引，
?CHANGE_TRACKING = MANUAL ：手动更新
?CHANGE_TRACKING =AUTO：自动更新，默认设置，当基础表数据变化时，全文索引自动更新，
?CHANGE_TRACKING =OFF , NO POPULATION：不更新，指定选项NO POPULATION，表明在创建全文索引之后，SQL Server不会更新（populate）全文索引；如果未指定选项NO POPULATION，在创建全文索引之后，SQL Server更新全文索引。

5，停用词（STOPLIST）

停用词（StopWord）也称作噪音词，每一个全文索引都会关联一个停用词列表，默认情况下，全文索引关联的是系统停用词（system stoplist）。全文引擎把停用词从分词中删除，使全文索引不会包含停用词。

STOPLIST [ = ] { OFF (北联网教程,专业提供视频软件下载)

 
第1页  第2页  第3页  第4页  第5页  第6页 
 
……
标签:对于SQL Server 的全文搜索技巧详细说明