栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ELK日志分析系统之集成Filebeat

ELK日志分析系统之集成Filebeat

目录

一、Filebeat 是什么?二、集成 Filebeat

1.安装 Filebeat2.配置3.启动


本博在 ELK日志分析系统搭建 一文中,介绍了使用 Elasticsearch、Logstash、Kibana 来搭建ELK。不过由于 Logstash 是一个功能强大的日志服务,作为日志采集器会占用较多的系统资源,如果需要添加插件,全部服务器的 Logstash 都要添加插件,扩展性很差。而 Filebeat 作为一个轻量级的日志服务,占用资源少,只负责采集日志,不做其他的事情,把 Logstash 抽出来,专门做一些滤处理之类的工作。

一、Filebeat 是什么?

Filebeat 是一个日志文件托运工具,在服务器上安装客户端后,Filebeat 会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到 Elasticsearch 或者 Logstarsh 中存放。

二、集成 Filebeat 1.安装 Filebeat

见 CentOS7和8下安装Filebeat。

2.配置

Filebeat 配置文件 filebeat.yml 内容修改如下:

- type: log
  # Change to true to enable this input configuration.
  enabled: true
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /home/source/api/logs/*.out
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

Logstash 配置文件 config/logstash-sample.conf 内容修改如下:

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
    codec => "json"
  }
}

filter {
  mutate {
    remove_field => [ "host" ]
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "user-%{+YYYY.MM.dd}"
  }
}
3.启动

启动 Filebeat:

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

启动 Logstash:

nohup ./bin/logstash -f ./config/logstash-sample.conf &
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758127.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号