网站首页 > 开源技术 正文
elasticsearch安装及使用可参考文章:Elasticsearch7.9.2+Kibana7.9.2安装使用
elasticsearch默认提供了standard分词器,但对中文的分词效果不尽人意:
可以看出,把词语分成了一个个的汉字,这并不是我们想要的,接下来介绍下中文分词器-IK分词器的安装及使用。
1、IK分词器下载及安装
github: https://github.com/medcl/elasticsearch-analysis-ik
各版本分词器下载: https://github.com/medcl/elasticsearch-analysis-ik/releases
选择版本与elasticsearch一致的版本:7.9.2
下载后解压,将解压后的文件夹elasticsearch-analysis-ik-7.9.2 拷贝至 elasticsearch的plugins文件下:
然后重启elasticsearch,控制台有如下输出:
2、使用IK分词器测试分词
IK分词器有两种分词模式:ik_smart 和 ik_max_word 模式。
1、ik_smart
会做最粗粒度的拆分,比如会将“中华人民共和国”拆分为中华人民共和国。
使用Kibana开发工具,输入如下请求:
POST _analyze
{
"analyzer": "ik_smart",
"text":"中华人民共和国"
}
2、ik_max_word
会将文本做最细粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国等词语。
请求如下:
POST _analyze
{
"analyzer": "ik_max_word",
"text":"中华人民共和国"
}
3、扩展词典
在 elasticsearch-analysis-ik-7.9.2 文件夹 conf 目录下,找到 IKAnalyzer.cfg.xml 配置文件,
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">custom.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<!-- <entry key="remote_ext_dict">words_location</entry> -->
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
其中custom.dic为自定义的扩展字典,7.9.2版本的分词器插件中没有该文件,需要自己新建,
内容可以根据自己需要,自定义分词的文字。
保存后重启elasticsearch即可看到自己想要的分词效果。
相关文章:
elasticsearch可视化工具elasticsearch-head安装使用
- 上一篇: 海量数据检索之Solr安装与配置(solrce)
- 下一篇: es-ik实现热更新词库(es更新字段)
猜你喜欢
- 2024-10-23 ES 基本知识(es基本介绍)
- 2024-10-23 maven打包jar包时如何打包本地jar文件
- 2024-10-23 记录自己搭建solr配置中文分词的过程供大家参考
- 2024-10-23 springboot整合websocket、solr(springboot整合rocketMQ)
- 2024-10-23 ElasticSearch安装ik分词插件(elasticsearch 安装ik分词器)
- 2024-10-23 12K的码农怎样蜕变为30k的架构师?找准方向,拒绝迷茫
- 2024-10-23 Lucene就是这么简单(好儿子今天妈妈就是你的女人了)
- 2024-10-23 5分钟带你了解Lucene全文索引(lucene索引原理)
- 2024-10-23 在.net core中进行中文分词方法(.net core hangfire)
- 2024-10-23 Elasticsearch-通过外网访问加入kibana,head「002」
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- jdk (81)
- putty (66)
- rufus (78)
- 内网穿透 (89)
- okhttp (70)
- powertoys (74)
- windowsterminal (81)
- netcat (65)
- ghostscript (65)
- veracrypt (65)
- asp.netcore (70)
- wrk (67)
- aspose.words (80)
- itk (80)
- ajaxfileupload.js (66)
- sqlhelper (67)
- express.js (67)
- phpmailer (67)
- xjar (70)
- redisclient (78)
- wakeonlan (66)
- tinygo (85)
- startbbs (72)
- webftp (82)
- vsvim (79)
本文暂时没有评论,来添加一个吧(●'◡'●)