全文索引

    特性简介

    openGauss中提供的全文索引功能可以对文档进行预处理，并且可以使后续的搜索更快速。

    openGauss全文索引功能提供了查询可读性文档的能力，并且通过查询相关度将结果进行排序。

    特性描述

    构建全文索引的预处理过程包括：

    • 为每个文档标记不同类别的token是非常有必要的，例如：数字、文字、复合词、电子邮件地址，这样就可以做不同的处理。原则上token的类别依赖于具体的应用，但对于大多数的应用来说，可以使用一组预定义的token类。

    • 将token转换为词素。

      词素像token一样是一个字符串，但它已经标准化处理，这样同一个词的不同形式是一样的。例如，标准化通常包括：将大写字母折成小写字母、删除后缀（如英语中的s或者es）。这将允许通过搜索找到同一个词的不同形式，不需要繁琐地输入所有可能的变形样式。同时，这一步通常会删除停用词。这些停用词通常因为太常见而对搜索无用。（总之，token是文档文本的原片段，而词素被认为是有用的索引和搜索词。）openGauss使用词典执行这一步，且提供了各种标准的词典。

    无。

    特性约束

    openGauss的全文检索功能当前限制约束是：

    • 每个分词长度必须小于2K字节。
    • tsvector结构（分词+位置）的长度必须小于1MB。
    • tsvector的位置值必须大于0，且小于等于16,383。
    • 每个分词在文档中位置数必须小于256，若超过将舍弃后面的位置信息。