标准分词于IK分词器的对比

---

使用标准分词器查询中文:

请求 ：GET http://localhost:9200/_analyze?analyzer=standard&pretty=true&text=这是一段内容

结果：

使用标准分词器显然得不到我们需要的分词效果，这样的话就需要对中文支持良好的分析器的支持，支持中文分词的分词器有很多，我们这里使用的是IK分词器：

请求：GET http://localhost:9200/_analyze?analyzer=ik_smart&pretty=true&text=这是一段内容

IK分词器简介

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

IK分词器3.0的特性如下：

• 1. 采用了特有的“正向迭代最细粒度切分算法，具有60万字/秒的高速处理能力。

• 2. 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。

• 3. 对中英联合支持不是很好,在这方面的处理比较麻烦.需再做一次查询,同时是支持个人词条的优化的词典存储，更小的内存占用。

• 4. 支持用户词典扩展定义。

• 5. 针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。`

ElasticSearch集成IK分词器

---

IK分词器的安装

1）下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

2）解压，将解压后的elasticsearch文件夹拷贝到elasticsearch\plugins下，并重命名文件夹为analysis-ik

3）重新启动ElasticSearch，即可加载IK分词器

IK分词器测试

IK提供了两个分词算法ik_smart 和 ik_max_word，其中 ik_smart 为最少切分，ik_max_word为最细粒度划分

1）最小切分：在浏览器地址栏输入地址

请求： GET http://localhost:9200/_analyze?analyzer=ik_smart&pretty=true&text=IKAnalyzer是一个中文分词工具包

{

“tokens”: [

{

“token”: “ikanalyzer”,

“start_offset”: 0,

“end_offset”: 10,

“type”: “ENGLISH”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 10,

“end_offset”: 11,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “一个”,

“start_offset”: 11,

“end_offset”: 13,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “中文”,

“start_offset”: 13,

“end_offset”: 15,

“type”: “CN_WORD”,

“position”: 3

},

{

“token”: “分词”,

“start_offset”: 15,

“end_offset”: 17,

“type”: “CN_WORD”,

“position”: 4

},

{

“token”: “工具包”,

“start_offset”: 17,

“end_offset”: 20,

“type”: “CN_WORD”,

“position”: 5

}

]

}

2）最细切分：在浏览器地址栏输入地址

请求：GET http://localhost:9200/_analyze?analyzer=ik_max_word&pretty=true&text=IKAnalyzer是一个中文分词工具包

{

“tokens”: [

{

“token”: “ikanalyzer”,

“start_offset”: 0,

“end_offset”: 10,

“type”: “ENGLISH”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 10,

“end_offset”: 11,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “一个”,

“start_offset”: 11,

“end_offset”: 13,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “一”,

“start_offset”: 11,

“end_offset”: 12,

“type”: “TYPE_CNUM”,

“position”: 3

},

{

“token”: “个中”,

“start_offset”: 12,

“end_offset”: 14,

“type”: “CN_WORD”,

“position”: 4

},

{

“token”: “个”,

“start_offset”: 12,

“end_offset”: 13,

“type”: “COUNT”,

“position”: 5

},

{

“token”: “中文”,

“start_offset”: 13,

“end_offset”: 15,

“type”: “CN_WORD”,

“position”: 6

},

{

“token”: “分词”,

“start_offset”: 15,

“end_offset”: 17,

“type”: “CN_WORD”,

“position”: 7

},

{

“token”: “工具包”,

“start_offset”: 17,

“end_offset”: 20,

“type”: “CN_WORD”,

“position”: 8

},

{

“token”: “工具”,

“start_offset”: 17,

“end_offset”: 19,

“type”: “CN_WORD”,

“position”: 9

},

{

“token”: “包”,

“start_offset”: 19,

“end_offset”: 20,

“type”: “CN_CHAR”,

“position”: 10

}

]

}

修改索引映射mapping：

1. 创建blog索引，分词器使用ik_max_word

请求：PUT https://localhost:9200/blog

{

“mappings”: {

“hello”: {

“properties”: {

“id”: {

“type”: “long”,

“store”: true,

“index”:“not_analyzed”

},

“title”: {

“type”: “text”,

“store”: true,

“index”:“analyzed”,

10

}

]

}

修改索引映射mapping：

1. 创建blog索引，分词器使用ik_max_word

请求：PUT https://localhost:9200/blog

{

“mappings”: {

“hello”: {

“properties”: {

“id”: {

“type”: “long”,

“store”: true,

“index”:“not_analyzed”

},

“title”: {

“type”: “text”,

“store”: true,

“index”:“analyzed”,

[外链图片转存中…(img-F2wziU2L-1635265470181)]