1 介绍2 ELK安装
2.1 Elasticearch安装
2.1.1 windows 安装2.1.2 linxu安装 2.2 可视化界面 elasticsearch-head2.3 安装 Kibana 3 docker部署elk
3.1 基本配置3.2 安装插件 4 ES核心概念5 IK分词器插件
5.1 增加自己的配置
1 介绍Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。
它用于全文搜索、结构或搜索、分析以及将这三者混合使用
搜索纠错、实时反馈
2 ELK安装环境：
JDK1.8 最低要求Java开发、ElasticSearch的版本和我们之后对应的Java的核心jar包。
官网：https://www.elastic.co/cn
下载：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-6-2
我们在windows下演示
ELK三剑客，解压即用：
Nodejspython2 2.1 Elasticearch安装 2.1.1 windows 安装
bin 启动文件 config 配置文件 log4j2 日志配置文件 jvm.options java 虚拟机相关配置 elasticsearch.yml elasticsearch配置文件 默认9200端口！有跨域问题 lib 相关jar包 logs 日志 modules 功能模块 plugubs 插件 ik分词
启动：
bin/elasticsearch.bat
访问测试
http://127.0.0.1:9200/
{
"name" : "USERMIC-AQENDNF",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "SgT0Xh5-QvCHBwjnrlMhOw",
"version" : {
"number" : "7.6.2",
"build_flavor" : "default",
"build_type" : "zip",
"build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
"build_date" : "2020-03-26T06:34:37.794943Z",
"build_snapshot" : false,
"lucene_version" : "8.4.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
2.1.2 linxu安装
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz2.2 可视化界面 elasticsearch-head
https://github.com/mobz/elasticsearch-head
1、配置elasticsearch
解决跨域问题：elasticsearch-7.6.2configelasticsearch.yml
文件尾部添加如下代码
http.cors.enabled: true http.cors.allow-origin: "*"
2、启动elasticsearch-head
docker build -t elk-head .2.3 安装 Kibana
官网：https://www.elastic.co/cn/kibana/
Kibana版本要和ES一致
1、启动
http://localhost:5601
2、汉化
国际化文件x-packpluginstranslationstranslationszh-CN.json
修改配置：config/ kibana.yml
116行
i18n.locale: "zh-CN"3 docker部署elk
docker命令：https://vitcloud.blog.csdn.net/article/details/122652560
下载：
https://github.com/deviantony/docker-elk/tree/release-7.x
http://localhost:9200/
http://localhost:5601/
1. 启动
docker-compose up
默认用户名、密码
user: elastic
password: changeme
2 为内置用户初始化密码
docker-compose exec -T elasticsearch bin/elasticsearch-setup-passwords auto --batch
Changed password for user apm_system PASSWORD apm_system = 40iHqszWXZuBHJUAO2rO Changed password for user kibana_system PASSWORD kibana_system = Mld3fRmxEmJy5mLwhbc2 Changed password for user kibana PASSWORD kibana = Mld3fRmxEmJy5mLwhbc2 Changed password for user logstash_system PASSWORD logstash_system = FEwag4dLfVJS6cVVZemn Changed password for user beats_system PASSWORD beats_system = S6L29ErIA3jigEQLTvnW Changed password for user remote_monitoring_user PASSWORD remote_monitoring_user = 7zWztQAFCoWytAA9VCDm Changed password for user elastic PASSWORD elastic = EtWvHc8lGh05YS7vS1mq
3 取消设置引导密码（可选）
docker-compose.yml
ELASTIC_PASSWORD
4 替换密码
kibana/config/kibana.yml
elasticsearch.username: elastic elasticsearch.password: EtWvHc8lGh05YS7vS1mq
logstash/config/logstash.yml
xpack.monitoring.elasticsearch.username: elastic xpack.monitoring.elasticsearch.password: EtWvHc8lGh05YS7vS1mq
logstash/pipeline/logstash.conf
output {
elasticsearch {
hosts => "elasticsearch:9200"
user => "elastic"
password => "EtWvHc8lGh05YS7vS1mq"
ecs_compatibility => disabled
}
}
重启服务
docker-compose restart kibana logstash3.2 安装插件
1. 命令安装
在Dockerfile添加下面格式命令
RUN elasticsearch-plugin install analysis-icu
2. 手动安装
进入容器
docker exec -it e40bd5ee5f42 /bin/bash
宿主机解压好后，想容器复制插件
docker cp /usr/local/ik/ 容器名:/usr/share/elasticsearch/plugins
docker cp /usr/local/ik/ docker-elk_elasticsearch_1:/usr/share/elasticsearch/plugins
重启容器
docker restart 41e4c48f216c4 ES核心概念
- 索引字段类型(mapping)文档
集群、节点、索引、类型、文档、分片、映射是什么？
elesticsearch是面向文档，关系行数据库和delecticsearch客观的对比
| Relation DB | Elasticsearch |
|---|---|
| 数据库 | 索引(indices) |
| 表(tables) | types(逐渐弃用) |
| 行(rows) | documents |
| 字段(columns) | fields |
物理设计：
eleasticsearch在后台把每个索引分成多个分片，每分分片可以在集群中的不同服务器间迁移
文档
elasticsearch是面向文档的，name就意味着索引和搜索数据的做小单位是文档，在elasticsearch中，文档有以下几个重要属性。
自我包含，一篇文档同时包含字段和对应的值，也就是同时包含key:value可以使层次型的，一个文档中包含自文档，复杂的逻辑实体就是这么来的。灵活的结构，文档不依赖预先定义的模式，我们指导关系型数据库中，要提前定义字段才能使用，在elasticsearch中，对于字段是非常灵活的，有时候，我们可以忽略该字段，或者动态的添加一个新的字段。
类型
映射类型
name: string test birt: date
索引
就是数据库
一个集群至少有一个节点，而一个节点就是一个elasticsearch进程，节点可以有多个索引
如果创建索引，那么有5个分片（primary shard，又称主分片）构成的，每一个主分片会有一个副本（replic shard, 又称复制分片）
一个分片是一个Lucene索引
倒排索引
elesticsearch使用的是一种称为倒排索引的机构，采用Lucene倒排索作为底层。这种结构适用于快速的全文搜索，一个索引由文档中所有不重复的列表构成，对于每一个次，都有一个包含它的文档列表。
例如，现有两个文档，每个文档包含如下内容：
study every day, good good up to forever # 文档1 Tto forever, study erery day # 文档2
如果要搜索含有python标签的文章，那相对于查找的所有原始数据而言，查找倒排
什么事IK分词器？
分词：即把一段中文或者别的划分成一个个关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词。
IK提供了两个分词算法：ik_smart和ik_max_word，其中ik_smart为最少的切分，ik_max_word为最细力度划分。
1. 安装
注意版本
https://github.com/medcl/elasticsearch-analysis-ik
查看已加载的插件
elasticsearch-plugin.bat
elasticsearch-plugin list
# 最少切分
GET _analyze
{
"analyzer": "ik_smart",
"text": "人民教育出版社"
}
# 最细力度划分：可能所有组合
GET _analyze
{
"analyzer": "ik_max_word",
"text": "人民教育出版社"
}
elasticsearch-analysis-ik-7.17.0confi/IKAnalyzer.cfg.xml
IK Analyzer 扩展配置 my.dic
my.dic
有勇气的牛排
重启
docker restart 41e4c48f216c
学习地址：狂神说
https://www.bilibili.com/video/BV17a4y1x7zq
