栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Filebeat+Kafka+Logstash+ElasticSearch搭建完整版

Filebeat+Kafka+Logstash+ElasticSearch搭建完整版

基本介绍

(1)Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)
(2)Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据
(3)Logstash是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景
(4)ElasticSearch它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口

实际的应用


利用Filebeat去监控日志文件,将Kafka作为Filebeat的输出端,Kafka实时接收到Filebeat后以Logstash作为输出端输出,到Logstash的数据,然后通过logstash 配置文件进行输入输出以及数据的过滤操作,得到我们需要的数据格式以ElasticSearch作为输出端输出,数据到ElasticSearch就可以进行丰富的分布式检索了。

 

启动方式

1. kakfa

  binwindowskafka-server-start.bat configserver.properties

测试安装是否成功:
   创建主题,输入命令:
   binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

   查看主题输入:
   binwindowskafka-topics.bat --list --zookeeper localhost:2181

2. zookeeper

   在根目录下,启动 zkServer.cmd 
3. filebeats

 在根目录下, 输入filebeat.exe -e -c filebeattest.yml
4. logstash

bin 文件夹下, 
logstash -f  配置文件(需要改变) --config.reload.automatic  

--config.reload.automatic  实现热加载

5. Elasticsearch  

bin 文件夹下, 直接启动 elasticsearch.bat 文件即可启动

注意: 一般情况先启动 zookeeper 在启动  kafka服务。
同时 kafka默认也内置了zk的启动脚本,在kafka安装路径的bin目录下,名称为zookeeper-server-start.sh,如果不想独立安装zk,可直接使用该脚本。

关键点: 

启动这些服务,需要针对根据实际情况,修正配置文件信息,同时针对多节点问题,需要在进一步进行调整!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/329822.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号