2023-08-08  阅读(415)
原文作者:Ressmix 原文地址:https://www.tpvlog.com/article/146

上一章,我们讲近似匹配时,提到如果要实现搜索推荐功能,最好不要用match_phrase_prefix进行实时的前缀匹配,因为这样性能很差。本章,我们就来介绍下ngram分词机制,通过它,我们可以在建立索引阶段就完成“搜索推荐”。

一、ngram机制

什么是ngram?N-Gram是大词汇连续语音识别中常用的一种语言模型。

举个例子,对于单词“quick”,我们可以对其做如下拆分,那么,“quick”这个term就被拆分成了5种长度下的ngram,每种长度下的拆分项都是一个ngram:

    # ngram.length=1
    q u i c k
    # ngram.length=2
    qu ui ic ck
    # ngram.length=3
    qui uic ick
    # ngram.length=4
    quic uick
    # ngram.length=5
    quick

Elasticsearch使用了一种“edge ngram”的分词方法,比如我们有两个下面这样的document:

    # doc1
    hello world
    # doc2
    hello what

Elasticsearch会对文本中的每个term,按照edge ngram机制建立倒排索引:

term doc1 doc2
h Y Y
he Y Y
hel Y Y
hell Y Y
hello Y Y
w Y Y
wo Y N
wor Y N
worl Y N
world Y N
wh N Y
wha N Y
what N Y

当我们检索“hello w”时,首先会对“hello”这个term检索,发现doc1和doc2都有,然后对“w”这个term检索,发现doc1和doc2也都有,所以doc1和duc2都会被返回,这样就实现了搜索推荐。

由于检索时,完全利用到了倒排索引,并没有去做前缀匹配,所以ngram机制实现的搜素推荐效率非常高。

二、使用示例

接着,我们来看看如何使用ngram进行分词。首先,建立索引,min_gram和max_gram用于控制ngram的长度:

    PUT /my_index
    {
        "settings": {
            "analysis": {
                "filter": {
                    "autocomplete_filter": { 
                        "type":     "edge_ngram",
                        "min_gram": 1,
                        "max_gram": 20
                    }
                },
                "analyzer": {
                    "autocomplete": {
                        "type":      "custom",
                        "tokenizer": "standard",
                        "filter": [
                            "lowercase",
                            "autocomplete_filter" 
                        ]
                    }
                }
            }
        }
    }

我们可以通过以下命令查看下分词结果:

    GET /my_index/_analyze
    {
      "analyzer": "autocomplete",
      "text": "quick brown"
    }

最后,只要对那些想要实现搜索推荐的字段,修改其字段使用的分词器就完成了:

    PUT /my_index/_mapping
    {
      "properties": {
          "title": {
              "type":     "string",
              "analyzer": "autocomplete",
              "search_analyzer": "standard"
          }
      }
    }

上面analyzer的意思是对title字段的内容建立索引时,使用autocomplete这个分词器,也就是ngram分词;search_analyzer的意思是,对于我们的检索词,比如“hello w”,还是用标准的standard分词器拆分。

三、总结

本章,我讲解了如何使用Elasticsearch实现index-time搜索推荐。

阅读全文
  • 点赞