springcloud 整合logstash分布式日志采集

Logstash简介

Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash 可以动态地统一来自不同来源的数据，并将数据规范化到您选择的目的地。为各种高级下游分析和可视化用例清理和普及所有数据。

虽然 Logstash 最初推动了日志收集的创新，但它的功能远远超出了该用例。任何类型的事件都可以通过广泛的输入、过滤器和输出插件进行丰富和转换，许多本地编解码器进一步简化了摄取过程。Logstash 通过利用更大量和更多样化的数据来加速您的洞察力。
Elasticsearch 等的摄取主力
具有强大 Elasticsearch 和 Kibana 协同作用的水平可扩展数据处理管道
可插拔管道架构混合、匹配和编排不同的输入、过滤器和输出，以在管道中和谐播放

社区可扩展且对开发人员友好的插件生态系统
超过 200 个插件可用，以及创建和贡献自己的灵活性
适用于服务系统日志的采集，例如nginx,redis,linux
可以和kafka,Filebeat等一起使用

see https://www.elastic.co/guide/en/logstash/7.6/index.html

环境准备

这里我用的是docker容器技术
1.logstash7.6.2 kibana7.6.2 elasticsearch7.6.2
怎么下载安装容器可以参考我这篇文章
docker安装指定版本的镜像

因为我们还需要部署 kibana 容器，因此需要让 es 和 kibana 容器互联。这里先创建一个网络：

docker network create es-net

启动eleasticsearch

docker run -d --name my-es -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v es-data:/usr/share/elasticsearch/data -v es-plugins:/usr/share/elasticsearch/plugins --privileged --network es-net -p 9200:9200 -p 9300:9300 elasticsearch:7.6.2

启动成功访问localhost:9200

启动 kibana

docker run -d --name my-kibana -e ELASTICSEARCH_HOSTS=http://my-es:9200 --network=es-net -p 5601:5601 kibana:7.6.2

启动成功访问localhost:5601

启动logstash

docker run -d --name my-logstash -e ELASTICSEARCH_HOSTS=http://my-es:9200 --network=es-net -p 5044:5044 -p 9600:9600 -p 5055:5055 -p 5056:5056 -p 5057:5057 -p 5058:5058 kibana:7.6.2

修改logstash配置
修改logstash.yml配置在config路径下

vi config/logstash.yml

把xpack.monitoring.elasticsearch.hosts修改为"http://my-es:9200"
注意前面有空格因为是yml格式

修改logstash配置文件logstash.conf 在pipeline下面

vi pipeline/logstash.conf

input {
  tcp {
    #模式选择为server
    mode => "server"
    host => "0.0.0.0"
    #这里的端口号要和logback-spring.xml里面的destination匹配
    port => 5044
    # 设定type以区分每个输入源
    type =>  "getway"
    codec => json_lines
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 5047
    type =>  "admin"
    codec => json_lines
  }

  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 5046
    type =>  "auth"
    codec => json_lines
  }


}
output {
# See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
   if [type]=="admin"{
   elasticsearch {
    hosts => "my-es:9200"
    #index => "springboot-logback-admin-%{+YYYY.MM.dd}"
    index => "springboot-logstash-admin"
  }
}

  if [type]=="getway"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-getway"
  }
}


   if [type]=="auth"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-auth"
  }
}
  stdout {
     codec => rubydebug { }
  }
}

修改完后保存退出
检测配置文件是否正确
bin/logstash -f pipeline/logstash.conf -t

看见这个就说明配置没有问题

重新启动logstash

看到这个就说明启动成功了
启动成功访问localhost:9600

spring配置

然后就是spring上面的配置了我这里以gateway为例
环境依赖

 
            
                net.logstash.logback
                logstash-logback-encoder
                5.3

logback-spring.xml配置




    
    

    

    
    

    
    

    
    
        
            INFO
        
        
        
            ${CONSOLE_LOG_PATTERN}
            utf8
        
    

    
    

        127.0.0.1:5044
        
        
            
                
                    UTC
                
                
                    
                        {
                        "logLevel": "%level",
                        "serviceName": "${mall-getway:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }

然后在yml配置文件上加上配置

logging:
  config: classpath:logback-spring.xml

工程项目目录

然后启动项目
可以看到logstash的日志，这时候说明已经采集上去了

然后我们访问kibana查看localhost:5601

然后就可以看到我们采集到的日志了
第一次进来这里没有需要自己创建

参考文章
docker容器添加对外映射端口
docker安装elasticsearch及kibana部署、操作

springcloud 整合logstash分布式日志采集

大数据系统相关栏目本月热门文章