栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

packetbeat进行网络流量监控

packetbeat进行网络流量监控

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录
  • 前言
  • 一、beat是什么?
  • 二、使用步骤
    • 1.下载
    • 2.解压文件
  • 3.安装仪表盘模板
  • 4.使用
  • 总结


前言

ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。logstash功能包含采集,过滤,转换等功能;正因为有很多的功能,导致了它比较耗资源,因为logstash是java编写的,jvm相对来说耗资源,而logstash只需要注重日志采集。对应beat组件就出现了,它们比较小巧,而且不耗资源,也完全够用


提示:以下是本篇文章正文内容,下面案例可供参考

一、beat是什么? beat是一个轻量级的托运人,用于转发和集中日志数据。beat作为代理安装在服务器上,监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或 Logstash进行索引。

官方分类:

二、使用步骤 1.下载

本次针对packetbeat进行网络流量监控,所以下载packetbeat,因为之前es,logstash,kibana版本都是下载的7.6.2版本,所以本次也下载7.6.2版本

下载地址:

https://www.elastic.co/cn/downloads/beats/packetbeat#preview-release
2.解压文件

因为我下的是windows版本,安装官方所说的安装在C:Program FilesPacketbeat下,某些博主说其他盘也可以安装,但是我在运行脚本时会报错:

1.解压完成后,运行ps1脚本,可以直接使用右键进行poswershell进行运行
2.elastic公司几乎所有的配置文件都在根目录下,linux目前没试过,可能在etc目录下。修改packetbeat.yml的配置文件,一般来说主要修改监听的端口和请求的方式,以及Mysql,redis等常用的组件,为后面监听sql等做准备。
3.修改es服务器ip端口以及kibana的ip端口,因为我本身在本机默认Localhost及默认端口,没有做修改,如果其他地址可以直接修改
4.修改网卡信息,packetbeat.interfaces.device:0是windows系统的主网卡,linux下为eth0

上述为安装packetbeat的方法


3.安装仪表盘模板

进入packetbeat根目录下

packetbeat setup --dashboards

因为配置过yml的kibana指向,会直接导入,前提是开启kibana和es的情况下

4.使用

1.开启es和kibana,以及packetbeat,注意packetbeat需要管理员权限,否则在c盘会文件读写没有权限的错误

2.登录kibana,选着模板,便可以进行数据展示

3,一般来说需要添加索引,如果需要自定义展示的字段

总结

一般来说,packetbeat或者其他的beat组件在完成日志收集后,需要发送到logstash进行数据清洗,也可以直接发给es。在大数据量的情况下,有多种结构,如

如果日志文件量特别大,以及收集的服务器日志比较多;这样架构中需加入消息中间件做一下缓冲:

知乎链接

总之,beat组件数据采集,logstash最主要的左右是数据拉取,清洗和推送,如上图,logstash从kafka拉数据,清洗数据后推给es。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/350159.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号