栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ELK日志可视化

ELK日志可视化

kibana简介
kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

kibana数据可视化安装rpm -ivh kibana-7.6.1-x86_64.rpm
编辑主配文件vim /etc/kibana/kibana.yml
server.port: 5601
server.host: “172.25.9.7”
elasticsearch.hosts: [“http://172.25.9.4:9200”]
i18n.locale: “zh-CN”

等待端口启动netstat -antlp |grep :5601

过滤插件拉起logstash /usr/share/logstash/bin/logstash -f grok.conf

网页访问http://172.25.9.7:5601

创建索引匹配

创建可视化

访问次数可视化



压力测试访问:
ab -n 100 -c1 http://172.25.9.7/index.html
refresh后次数会发生实时变化
测试完成后记得保存

启用xpack安全验证

elasticsearch集群节点创建证书

cd /usr/share/elasticsearch/
bin/elasticsearch-certutil ca
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
cp elastic-certificates.p12 elastic-stack-ca.p12 /etc/elasticsearch

修改权限
cd /etc/elasticsearch
chown elasticsearch elastic-certificates.p12 elastic-stack-ca.p12

添加内部信息采集参数到ES集群,每一个ES集群节点都需要操作
vim /etc/elasticsearch/elasticsearch.yml

重启集群systemctl restart elasticsearch.service

集群启动正常后,设置用户密码:

kibana连接es集群的用户密码写入kibana主配文件vim /etc/kibana/kibana.yml

设置Logstash连接ES用户密码:

监控设置 主配添加:

http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type #添加参数到es配置
监控访问需要认证http://172.25.0.13:9100/?auth_user=elastic&auth_password=westos

集群信息采集之插件采集
metricbeat所有ES集群节点均需要安装metricbeat的操作rpm -ivh metricbeat-7.6.1-x86_64.rpm
启用elasticsearch-xpack模板文件

metricbeat modules enable elasticsearch-xpack

编辑模板文件vim /etc/metricbeat/modules.d/elasticsearch-xpack.yml

编辑metricbeat主配置文件vim metricbeat.yml

启动metricbeat systemctl enable metricbeat.service --now所有ES集群都需要上述操作,完成后监控查看

filebeat
filebeat -> kafka/redis -> logstash -> es -> kibana
所有ES集群节点均需要安装filebeat的操作
安装rpm包rpm -ivh filebeat-7.6.1-x86_64.rpm

编辑模板文件
vim /etc/filebeat/modules.d/elasticsearch.yml

编辑filebeat主配文件vim filebeat.yml

systemctl enable --now filebeat.service

可视化UI查看日志数据

可以通过流式传输关键字数据

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/695871.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号