栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

03 springboot+kafka+ELK实现海量日志收集

03 springboot+kafka+ELK实现海量日志收集

1 架构图

2 安装kafka (1)安装zookeeper

zookeeper下载地址

上传下载好的软件包到/home,并解压,解压后删除掉软件包

 在zookeepr目录下新建data和log文件夹

 进入/conf目录

复制zoo_sample.cfg -> zoo.cfg,编辑zoo.cfg

 (1)指定dataDir

(2)指定端口

admin.serverPort=2180

 修改环境变量

vim /etc/profile

export ZK_HOME=/home/apache-zookeeper-3.7.0-bin

export PATH=.:$ZK_HOME/bin:$PATH

###使其生效
source /etc/profile

###运行zk
zkServer.sh start

zk启动报错,显示没有安装jdk

 那么接下来安装jdk

(2)安装jdk11

1 准备安装包

jdk11国内镜像源地址

2 上传,解压,删除压缩包

3 配置环境变量

vim /etc/profile

export JAVA_HOME=/home/jdk-11.0.14.1+1
export JRE_HOME=$JAVA_HOME/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

###刷新配置,使其生效
source /etc/profile

使用java,javac,java -version,校验成功

再次启动zk,启动成功

 (3)安装kafka

1 下载安装包

kafka下载地址

2 开始安装

 进入/config,修改server.properties 

配置advertised.listeners(公网监听器)

listeners(内网监听器)

 配置logs

创建logs文件夹 

指定logs路径

 指定zk(和我们的端口一致,就不需要改了)

 启动kafka并测试

bin/kafka-server-start.sh  config/server.properties  &

 启动结果

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/742412.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号