提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录- 前言
- 一、beat是什么?
- 二、使用步骤
- 1.下载
- 2.解压文件
- 3.安装仪表盘模板
- 4.使用
- 总结
前言
ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。logstash功能包含采集,过滤,转换等功能;正因为有很多的功能,导致了它比较耗资源,因为logstash是java编写的,jvm相对来说耗资源,而logstash只需要注重日志采集。对应beat组件就出现了,它们比较小巧,而且不耗资源,也完全够用
提示:以下是本篇文章正文内容,下面案例可供参考
一、beat是什么? beat是一个轻量级的托运人,用于转发和集中日志数据。beat作为代理安装在服务器上,监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或 Logstash进行索引。官方分类:
本次针对packetbeat进行网络流量监控,所以下载packetbeat,因为之前es,logstash,kibana版本都是下载的7.6.2版本,所以本次也下载7.6.2版本
下载地址:
https://www.elastic.co/cn/downloads/beats/packetbeat#preview-release2.解压文件
因为我下的是windows版本,安装官方所说的安装在C:Program FilesPacketbeat下,某些博主说其他盘也可以安装,但是我在运行脚本时会报错:
1.解压完成后,运行ps1脚本,可以直接使用右键进行poswershell进行运行
2.elastic公司几乎所有的配置文件都在根目录下,linux目前没试过,可能在etc目录下。修改packetbeat.yml的配置文件,一般来说主要修改监听的端口和请求的方式,以及Mysql,redis等常用的组件,为后面监听sql等做准备。
3.修改es服务器ip端口以及kibana的ip端口,因为我本身在本机默认Localhost及默认端口,没有做修改,如果其他地址可以直接修改
4.修改网卡信息,packetbeat.interfaces.device:0是windows系统的主网卡,linux下为eth0
上述为安装packetbeat的方法
3.安装仪表盘模板
进入packetbeat根目录下
packetbeat setup --dashboards
因为配置过yml的kibana指向,会直接导入,前提是开启kibana和es的情况下
4.使用1.开启es和kibana,以及packetbeat,注意packetbeat需要管理员权限,否则在c盘会文件读写没有权限的错误
2.登录kibana,选着模板,便可以进行数据展示
3,一般来说需要添加索引,如果需要自定义展示的字段
一般来说,packetbeat或者其他的beat组件在完成日志收集后,需要发送到logstash进行数据清洗,也可以直接发给es。在大数据量的情况下,有多种结构,如
如果日志文件量特别大,以及收集的服务器日志比较多;这样架构中需加入消息中间件做一下缓冲:
知乎链接
总之,beat组件数据采集,logstash最主要的左右是数据拉取,清洗和推送,如上图,logstash从kafka拉数据,清洗数据后推给es。



