栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ELK日志系统环境搭建,javaswing教程

ELK日志系统环境搭建,javaswing教程

ZERO

持续更新 请关注:https://zorkelvll.cn/blogs/zorkelvll/articles/2019/03/20/1553062484473

背景

近期由于项目需求,需要建立一套日志聚合系统,采用经典的ELK(logstash =》elasticsearch =》kibana)日志系统架构,本文则是记录相关elasticsearchlogstashkibanafilebeat等环境的安装过程!

说明:

  • 数据流走向:filebeat => logstash => elasticsearch => kibana

  • 组件启动顺序:elasticsearch => logstash => kibana (ELK名称的来源?) => filebeat

下载

在elk官网下载安装包logstashelasticsearchkibana 以及filebeats,其中elasticsearch的下载以及安装过程可参见ElasticSearch 环境搭建

cd /usr/local #root用户

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.tar.gz

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.2-linux-x86_64.tar.gz

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-linux-x86_64.tar.gz

tar -zxvf logstash-6.6.2.tar.gz

chown es:es /usr/local/logstash-6.6.2/ -R

tar -zxvf kibana-6.6.2-linux-x86_64.tar.gz

chown es:es /usr/local/kibana-6.6.2-linux-x86_64/ -R

tar -zxvf filebeat-6.6.2-linux-x86_64.tar.gz

chown es:es /usr/local/filebeat-6.6.2-linux-x86_64/ -R

配置 elasticserach

可参见ElasticSearch 环境搭建

logstash

cd /usr/local/logstash-6.6.2 #es用户

vim default.conf #创建default.conf文件并添加内容:

监听5044端口作为输入

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

input {

beats {

port => “5044”

}

}

数据过滤

filter {

grok {

match => { “message” => “%{COMBINEDAPACHELOG}” }

}

geoip { source => “clientip” }

}

输出配置为本机的9200端口,这是ElasticSerach服务的监听端口

output {

elasticsearch {

hosts => [“127.0.0.1:9200”]

}

}

kibana

cd /usr/local/kibana-6.6.2-linux-x86_64 #es用户

vim config/kibana.yml # 将server.host配置项取消注释并修改(若修改为局域网ip地址则内网访问,此处设为0位可外网访问)为server.host:“0.0.0.0”

filebeat

cd /usr/local/filebeat-6.6.2-linux-x86_64 #es用户

vim filebeat.yml #配置日志以及日志文件路径(配置如截图,且需要保证es用户具有访问该log目录的权限),如nginx日志为例

vim filebeat.yml #配置elasticsearch日志输出地址或者logstash输出地址,在这里我们将采用filebeat先收集日志到logstash中,然后由logstash再到elasticsearch中,因此注释掉默认的elasticsearch地址并取消默认注释的logstash地址(配置如截图)

启动 elasticserach

的elasticsearch地址并取消默认注释的logstash地址(配置如截图)

[外链图片转存中…(img-yzwhe52u-1637463853437)]

[外链图片转存中…(img-quhE2GYe-1637463853453)]

启动 elasticserach
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/582322.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号