Elasticsearch基础（十三）——ngram搜索推荐

上一章，我们讲近似匹配时，提到如果要实现搜索推荐功能，最好不要用match_phrase_prefix进行实时的前缀匹配，因为这样性能很差。本章，我们就来介绍下ngram分词机制，通过它，我们可以在建立索引阶段就完成“搜索推荐”。

一、ngram机制

什么是ngram？N-Gram是大词汇连续语音识别中常用的一种语言模型。

举个例子，对于单词“quick”，我们可以对其做如下拆分，那么，“quick”这个term就被拆分成了5种长度下的ngram，每种长度下的拆分项都是一个ngram：

    # ngram.length=1
    q u i c k
    # ngram.length=2
    qu ui ic ck
    # ngram.length=3
    qui uic ick
    # ngram.length=4
    quic uick
    # ngram.length=5
    quick

Elasticsearch使用了一种“edge ngram”的分词方法，比如我们有两个下面这样的document：

    # doc1
    hello world
    # doc2
    hello what

Elasticsearch会对文本中的每个term，按照edge ngram机制建立倒排索引：

当我们检索“hello w”时，首先会对“hello”这个term检索，发现doc1和doc2都有，然后对“w”这个term检索，发现doc1和doc2也都有，所以doc1和duc2都会被返回，这样就实现了搜索推荐。

由于检索时，完全利用到了倒排索引，并没有去做前缀匹配，所以ngram机制实现的搜素推荐效率非常高。

二、使用示例

接着，我们来看看如何使用ngram进行分词。首先，建立索引，min_gram和max_gram用于控制ngram的长度：

    PUT /my_index
    {
        "settings": {
            "analysis": {
                "filter": {
                    "autocomplete_filter": { 
                        "type":     "edge_ngram",
                        "min_gram": 1,
                        "max_gram": 20
                    }
                },
                "analyzer": {
                    "autocomplete": {
                        "type":      "custom",
                        "tokenizer": "standard",
                        "filter": [
                            "lowercase",
                            "autocomplete_filter" 
                        ]
                    }
                }
            }
        }
    }

我们可以通过以下命令查看下分词结果：

    GET /my_index/_analyze
    {
      "analyzer": "autocomplete",
      "text": "quick brown"
    }

最后，只要对那些想要实现搜索推荐的字段，修改其字段使用的分词器就完成了：

    PUT /my_index/_mapping
    {
      "properties": {
          "title": {
              "type":     "string",
              "analyzer": "autocomplete",
              "search_analyzer": "standard"
          }
      }
    }

上面analyzer的意思是对title字段的内容建立索引时，使用autocomplete这个分词器，也就是ngram分词；search_analyzer的意思是，对于我们的检索词，比如“hello w”，还是用标准的standard分词器拆分。

三、总结

本章，我讲解了如何使用Elasticsearch实现index-time搜索推荐。