elasticsearch

一、简介

什么是elasticsearch？

• 一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack（ELK）？

• 是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch

什么是Lucene？

• Apache的开源搜索引擎，提供了搜索引擎的核心API

二、正向索引和倒排索引

• 传统数据库（如MYSQL）采用正向索引，而elasticsearch采用倒排索引
• 什么是文档和词条？
  1. 每一条数据就是一个文档
  2. 对文档中的内容分词，得到的词语就是词条
• 什么是正向索引？基于文档id创建索引。查询词条时必须先找到文档，然后判断是否包含词条
• 什么是倒排索引？对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

三、elasticsearch与MySQL的概念对比

elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。

文档数据会被序列化为json格式后存储在elasticsearch中

索引

• 索引（index）：相同类型的文档的集合
• 映射（mapping）：索引中文档的字段约束信息，类似表的结构约束

MYSQL	Elasticsearch	说明
Table	Index	索引（index），就是文档的集合，类似数据库的表（table）
Row	Document	文档（Document），一条条的数据，类似数据库中的行（Row）文档就是JSON格式
Column	Field	字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）
Schema	Mapping	Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构
SQL	DSL	DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CURD

架构

MYSQL：擅长事务类型操作，可以确保数据的安全和一致性

Elasticsearch：擅长海量数据的搜索、分析、计算

四、部署elasticsearch和kibana

部署基于Docker

kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习

4.1、创建网络

首先需要创建一个docker网络用于elasticsearch与kibana互连

docker network create es-net

4.2、拉取elasticsearch和kibana的镜像

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.12.1	 # elasticsearch镜像地址
docker pull docker.elastic.co/kibana/kibana:7.12.1					 # kibana镜像地址

4.3、运行ES

运行docker命令，部署elasticsearch

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

命令解释：

• -e "cluster.name=es-docker-cluster"：设置集群名称
• -e "http.host=0.0.0.0"：监听的地址，可以外网访问
• -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
• -e "discovery.type=single-node"：非集群模式
• -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
• -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
• -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
• --privileged：授予逻辑卷访问权
• --network es-net ：加入一个名为es-net的网络中
• -p 9200:9200：端口映射配置

在浏览器中输入：http://192.168.91.134:9200 即可看到elasticsearch的响应结果：

4.4、运行Kibana

运行docker命令，部署kibana

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

• --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
• -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
• -p 5601:5601：端口映射配置

kibana启动一般比较慢，需要多等待一会，可以通过命令：

docker logs -f kibana

查看当前运行日志，当看到下述日志说明运行成功

此时，在浏览器输入地址访问：http://192.168.91.134:5601，即可看到结果

4.5、DevTools

kibana中提供了一个DevTools界面：

这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。

五、安装IK分词器

5.1、在线安装ik插件

# 进入容器内部
docker exec -it elasticsearch /bin/bash

# 在线下载并安装
./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

#退出
exit
#重启容器
docker restart elasticsearch

5.2、扩展词词典

随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。所以词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。

1）打开IK分词器config目录：

2）在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
        <entry key="ext_dict">ext.dic</entry>
</properties>

3）新建一个 ext.dic，可以参考config目录下复制一个配置文件进行修改

示例
洛克王国

4）重启elasticsearch

docker restart es

# 查看 日志
docker logs -f elasticsearch

日志中已经成功加载ext.dic配置文件

5）测试效果：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "洛克王国测试示例"
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

5.3、停用词词典

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

1）IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典-->
        <entry key="ext_dict">ext.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-->
        <entry key="ext_stopwords">stopword.dic</entry>
</properties>

3）在 stopword.dic 添加停用词

沙比

4）重启elasticsearch

# 重启服务
docker restart elasticsearch
docker restart kibana

# 查看 日志
docker logs -f elasticsearch

日志中已经成功加载stopword.dic配置文件

5）测试效果：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "洛克王国测试示例沙比"
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

六、索引库操作

6.1、mapping属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

• type：字段数据类型，常见的简单类型有：
  • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
  • 数值：long、integer、short、byte、double、float
  • 布尔：boolean
  • 日期：date
  • 对象：object
• index：是否创建索引，默认为true
• analyzer：使用哪种分词器
• properties：该字段的子字段

6.2、创建索引库

ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下：

PUT /kucun
{
  "mappings": {
    "properties": {
      "字段1":{
        "type": "类型",
        "analyzer": "ik_smart"
      },
      "字段2":{
        "type": "keyword",
        "index": false
      },
      "字段3":{
        "properties": {
          "子字段":{
            "type":"keyword"
}}}}}

6.3、查看、删除索引库

• 查询索引库语法：

GET /索引库名

• 删除索引库语法：

DELETE /索引库名

• 修改索引库语法：

索引库和mapping一旦创建无法修改，但是可以添加新的字段

PUT /索引库名/_mapping
{
    "properties":{
        "新字段名":{
            "type":"integer"k
        }
    }
}

6.4、新增、插叙、删除、修改文档

• 新增文档语法：

POST /索引库名/_doc/文档id
{
    "字段名1":"值1",
    "字段名2":"值2",
    "字段名3": {
        "子属性1":"值3",
        "子属性2":"值4",
    },
    //...
}

• 查询文档语法：

GET /索引库名/_doc/文档id

• 删除文档语法：

DELETE /索引库名/_doc/文档id

• 修改文档

方式一：全量修改，会删除文档，添加新文档

PUT /索引库名/_doc/文档id
{
    "字段名1":"值1",
    "字段名2":"值2",
    //...
}

方式二：增量修改，修改指定字段值

POST /索引库名/_update/文档id
{
    "doc":{
        "字段名":"新的值"
    }
}

总结：文档操作

• 创建文档：POST /索引库名/_doc/文档id {JSON文档}
• 查询文档：GET /索引库名/_doc/文档id
• 删除文档：DELETE 索引库名/_doc/文档id
• 修改文档：
  • 全量修改：PUT /索引库名/_doc/文档id {JSON文档}
  • 增量修改：POST /索引库名/_update/文档id {“doc”:{字段}}

七、RestClient操作索引库

什么是RestClient

ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。

7.1、初始化JavaRestClient

1. 引入es的RestHighLevelClient依赖：

   <dependency>
       <groupId>org.elasticsearch.client</groupId>
       <artifactId>elasticsearch-rest-high-level-client</artifactId>
       <version>7.12.1</version>
   </dependency>

   导入了依赖我们打开Maven查看一下导入的ES版本会发现有两项ES是7.6.2版本的

   

2. 因为SpringBoot的默认ES版本为7.6.2因此需要覆盖默认的ES版本

   <properties>
   	<java.version>1.8</java.version>
   	<elasticsearch.version>7.12.1</elasticsearch.version>
   </properties>

   

3. 初始化RestHighLevelClient

   RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(
   	HttpHost.create("http://192.168.91.134:9200")
   ));

7.2、创建索引库

• 创建索引库代码示例

public void create_index() throws IOException {
	// 1.创建Request对象
	CreateIndexRequest request = new CreateIndexRequest("hotel");
	// 2.请求参数, MAPPING_TEMPLATE是静态常量字符串，内容是创建索引库的DSL语句
	request.source(MAPPING_TEMPLATE, XContentType.JSON);
	// 3.发起请求
	client.indices().create(request, RequestOptions.DEFAULT);
}

7.3、删除、判断索引库是否存在

• 删除索引库代码示例

public void del_index() throws IOException {
	//1. 创建Request对象
	DeleteIndexRequest request = new DeleteIndexRequest("hotel");
	//2. 发起请求
	client.indices().delete(request,RequestOptions.DEFAULT);
}

• 判断索引库是否存在

@Test
public void isExist_index() throws IOException {
	// 1. 创建Request对象
	GetIndexRequest request = new GetIndexRequest("hotel");
	// 2. 发起请求
	boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
	// 3. 输出
	System.out.println(exists == true ? "索引已存在":"索引不存在");
}

7.4、新增文档

• 新增文档代码示例

7.5、 查询文档

• 查询文档代码示例

7.6、修改文档

修改文档数据有两种方式：

方式一：全量更新。再次写入一个id一样的文档，就会删除旧文档，创建新文档

方式二：局部更新。只更新部分字段

7.7、删除文档

• 删除文档代码示例

public void deleteDoc() throws IOException {
	DeleteRequest request = new DeleteRequest("hotel","61083");//参数：索引库，文档id
	client.delete(request,RequestOptions.DEFAULT);
}

文档操作的基本步骤

• 初始化RestHighLevelClient
• 创建 ___Request。___是Index、Get、Update、Delete
• 准备参数（Index和Update时需要）
• 发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete
• 解析结果（Get时需要）

7.8、批量添加文档

• 代码示例

public void addAllDoc() throws IOException {
	//将数据库中所有的数据查询出来
	List<Hotel> hotels = hotelService.list();
	// 1.创建request
	BulkRequest request = new BulkRequest();
	for (Hotel hotel : hotels) {
		//将数据库中的数据转为合适的文档格式
		HotelDoc hotelDoc = new HotelDoc(hotel);
		//创建新文档的Request对象
		request.add(new IndexRequest("hotel")
				.id(hotelDoc.getId().toString())
				.source(JSON.toJSONString(hotelDoc),XContentType.JSON)
		);
	}
	//3. 发送请求
	client.bulk(request,RequestOptions.DEFAULT);
}