Filebeat配置（ELK）

• 前言
• 一、Filebeat简介
• • 1.Filebeat是什么
  • 2.工作流程
• 二、使用步骤
• • 1.logback配置
  • 2.Filebeat配置
• 总结

相关敏感配置信息以自己实际信息为准，下面案例可供参考

　　Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

　　启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

pom.xml加入以下jar包：

			
            
                net.logstash.logback
                logstash-logback-encoder
                6.1
            

定义json格式方便filebeat收集（在logback配置文件加上该配置）：

	
        
        ${LOG_HOME}/json/json.log
        
            
            ${LOG_HOME}/json/json.log.%d{yyyy-MM-dd}.%i
            
            100MB
            true
            1
            5GB
        
        
        
        
        
            INFO
        
    

在root标签下引入 elk-json

首先进入到filebeat目录下：

cd /opt/filebeat-7.15.0-linux-x86_64/

新建filebeat-tang.yml配置文件

touch filebeat-test.yml

配置如下：

filebeat.inputs:

# 例：对外接口服务日志
- type: log
  #默认为false,修改为true则启用该配置
  enabled: true
  #使用json格式解析日志文件中的每一行
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
	#服务日志路径
    - /opt/app/test-openapi/logs/resource.log
  #将自定义字段放在顶层发送
  fields_under_root: true
  #自定义字段
  fields:
    #当前服务器公网ip
    runip: 66.66.66.666
	#服务名称
    app_name: test-openapi


# 例：web接口服务日志
- type: log
  #默认为false,修改为true则启用该配置
  enabled: true
  #使用json格式解析日志文件中的每一行
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
	#服务日志路径
    - /opt/app/test-webapi/logs/resource.log
  #将自定义字段放在顶层发送  
  fields_under_root: true
  #自定义字段
  fields:
    #当前服务器公网ip
    runip: 66.66.66.666
	#服务名称
    app_name: test-webapi
	
	
# 例：nginx 错误日志
- type: log
  paths:
    #需要监听json格式的日志文件地址
    - /opt/nginx-1.20.0/logs/error.log
  #将自定义字段放在顶层发送
  fields_under_root: true
  #自定义字段
  fields:
    runip: 66.66.66.666
    app_name: test-nginx-error

# 例：nginx 访问日志
- type: log
  #使用json格式解析日志文件中的每一行
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
    #需要监听json格式的日志文件地址
    - /opt/nginx-1.20.0/logs/access_json.log
  #将自定义字段放在顶层发送
  fields_under_root: true
  #自定义字段
  fields:
    runip: 66.66.66.666
    app_name: test-nginx-access

    
#不需要filebeat的策略，自己创建
setup.ilm.enabled: false
setup.template.enabled: false  
output.elasticsearch:
  #elk服务地址，这里做了个简单集群所有有两个地址
  hosts: ["http://66.66.66.888:9200","http://66.66.66.999:9200"]
  username: "elastic"
  password: "123456" 
  index: "%{[app_name]}-%{+yyyy.MM.dd}"

重启Filebeat生效配置：

  nohup ./filebeat  -c filebeat-test.yml >/dev/null 2>&1 &

每天进步一点，爱分享爱生活！