@(我的文档)[ELK]
文章目录- ELK 部署手册（docker版本）
- 1. 镜像拉取
- 2. elasticsearch 安装
- 3. elasticsearch-head 安装
- 4. logstash 安装
- 5. kibana 安装
- 6. filebeat 安装
- 7. 通过 kibana 展示收集的数据
**说明：**elasticsearch、kibana、logstash、filebeat 版本要一致，elasticsearch-head 方便通过浏览器查看elasticsearch 的状态和索引数据。
**工作原理：**通过 filebeat（轻量级数据收集引擎）收集日志后，推送给 Logstash （数据收集处理引擎）进行过滤、分析、丰富、统一格式等操作，将处理后的日志存储在 Elasticsearch （分布式搜索引擎）的索引中，最后由 Kibana（可视化化平台）搜索、展示存储在 Elasticsearch 中索引数据。
环境说明：
| 应用 | 版本 |
|---|---|
| docker | 19.03.9 |
| elasticsearch | 7.17.2 |
| kibana | 7.17.2 |
| logstash | 7.17.2 |
| filebeat | 7.17.2 |
| elasticsearch-head | 5.0 |
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.2 docker pull mobz/elasticsearch-head:5 docker pull docker.elastic.co/kibana/kibana:7.17.2 docker pull docker.elastic.co/logstash/logstash:7.17.2 docker pull docker.elastic.co/beats/filebeat:7.17.22. elasticsearch 安装
- 准备 elasticsearch.yml 文件
# 创建文件夹 mkdir /home/southgisdata/elasticsearch # 创建 elasticsearch.yml 文件 vi /home/southgisdata/elasticsearch/elasticsearch.yml ------------------------写入--------------------------- network.host: 0.0.0.0 cluster.name: "docker-cluster" http.cors.enabled: true http.cors.allow-origin: "*" #cluster.initial_master_nodes: ["node-1"] xpack: ml.enabled: false monitoring.enabled: false security.enabled: false watcher.enabled: false #去除以下两项的注释，则开启身份认证 #xpack.security.enabled: true #xpack.security.transport.ssl.enabled: true ------------------------结束---------------------------
- 运行 elasticsearch 容器
docker run -d --restart=always -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -v /home/southgisdata/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml --name elasticsearch docker.elastic.co/elasticsearch/elasticsearch:7.17.2
- 验证
**浏览器验证：**访问 192.168.1.100:9200
**命令行验证：**curl http://localhost:9200/_nodes/http?pretty
注意：
如果出现以下报错！！！
修改内存：在/etc/sysctl.conf文件最后添加一行
vm.max_map_count=262144 ##即可永久修改
追加配置文件config/elasticsearch.yml：cluster.initial_master_nodes: [“node-1”]
- 运行 elasticsearch-head 容器
docker run -d --restart=always -p 9100:9100 --name elasticsearch-head mobz/elasticsearch-head:5
- 修改 vendor.js 主要是能让数据浏览右边显示索引数据
# 创建文件夹 mkdir -p /home/southgisdata/elasticsearch-head # 进入文件夹下 cd /home/southgisdata/elasticsearch-head # 拷贝 vendor.js 文件到宿主机上 docker cp elasticsearch-head:/usr/src/app/_site/vendor.js ./ # 修改 vendor.js 文件内容 sed -i '/contentType:/s/application/x-www-form-urlencoded/application/json;charset=UTF-8/' vendor.js sed -i '/var inspectData = s.contentType/s/application/x-www-form-urlencoded/application/json;charset=UTF-8/' vendor.js
- 再次运行 elasticsearch-head 容器
# 删除容器 docker rm -f elasticsearch-head # 运行容器 docker run -d --restart=always -p 9100:9100 -v /home/southgisdata/elasticsearch-head/vendor.js:/usr/src/app/_site/vendor.js --name elasticsearch-head mobz/elasticsearch-head:5
- 验证
**浏览器验证：**访问 192.168.1.100:9100
- 准备 logstash.yml、pipelines.yml 配置文件
# 创建文件夹
mkdir -p /home/southgisdata/logstash/config
# 创建 logstash.yml 文件
vi /home/southgisdata/logstash/config/logstash.yml
------------------------写入---------------------------
config:
reload:
automatic: true
interval: 3s
xpack:
management.enabled: false
monitoring.enabled: false
------------------------结束---------------------------
# 创建 pipelines.yml 文件
vi /home/southgisdata/logstash/config/pipelines.yml
------------------------写入---------------------------
- pipeline.id: test
path.config: "/usr/share/logstash/pipeline/logstash-filebeat.conf"
------------------------结束---------------------------
- 准备 logstash-filebeat.conf 配置文件
# 创建文件夹
mkdir -p /home/southgisdata/logstash/pipeline
# 创建 logstash.yml 文件
vi /home/southgisdata/logstash/pipeline/logstash-filebeat.conf
------------------------写入---------------------------
# 访问端口配置
input {
beats {
port => 5044
}
}
# 过滤条件配置
#filter{
# grok{
# match => {
# "message" => "%{COMBINEDAPACHELOG}"
# }
# }
#}
# 输出到ES配置
output {
elasticsearch {
hosts => ["http://192.168.1.100:9200"]
index => "nginx_log"
}
}
------------------------结束---------------------------
- 运行 logstash 容器
docker run -d -p 5044:5044 -v /home/southgisdata/logstash/pipeline:/usr/share/logstash/pipeline -v /home/southgisdata/logstash/config:/usr/share/logstash/config --name logstash docker.elastic.co/logstash/logstash:7.17.2
- 验证
启动时间要两分钟左右，之后试着访问web，即可在es-head的web界面看到nginx_log的索引
- 准备 kibana.yml 配置文件
# 创建文件夹 mkdir -p /home/southgisdata/kibana # 创建 kibana.yml 配置文件 vi /home/southgisdata/kibana/kibana.yml ------------------------写入--------------------------- server.name: kibana # 允许所有地址访问 server.host: "0.0.0.0" # elasticsearch的地址 elasticsearch.hosts: ["http://192.168.1.100:9200/"] xpack.monitoring.ui.container.elasticsearch.enabled: true ------------------------写入---------------------------
- 运行 kibana 容器
docker run -d --restart=always -p 5601:5601 -v /home/southgisdata/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml --name kibana docker.elastic.co/kibana/kibana:7.17.2
- 验证
查看 elasticsearch-head 会发现多了几个索引，这几个索引是 kibanna 生成的。
- 准备 filebeat.yml 配置文件
# 创建文件夹
mkdir -p /home/southgisdata/filebeat
# 创建 kibana.yml 配置文件
vi /home/southgisdata/filebeat/filebeat.yml
------------------------写入---------------------------
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/access.log #日志文件路径
output.logstash:
hosts: ["192.168.1.100:5044"] #logstash访问地址
------------------------写入---------------------------
- 运行 filebeat 容器
映射了 filebeat 配置文件和 nginx 日志，这样 nginx 日志有变化时映射过去的文件也会随之同步。
docker run -d --restart=always --name filebeat -v /home/southgisdata/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /usr/local/nginx/logs/access.log:/var/log/access.log -d docker.elastic.co/beats/filebeat:7.17.2
- 验证
查看 nginx_log 的索引，可以看到 nginx 的日志数据。
