栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka集群部署与测试

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka集群部署与测试

1、下载、解压安装包:

将安装包上传到master节点中的/opt/software目录下,并将安装包解压到/opt/moduel,再命名为kafka 具体命令如下:

tar -zxvf kafka-2.11-2.0.0.tgz -C /opt/module

mv kafka-2.11-2.0.0.tgz kafka

2、修改配置文件

进入Kafka文件下的config目录,修改server.properties配置文件。

首先我在/opt目录下创建一个/data目录,存放kafka日志。

 

 

关于文件中的核心参数介绍如下:

(1)broker.id:集群中每个节点的唯一且永久的名称,该值必须大于或等于0,在本案例中,主机名为master、slave1、slave2的节点中,该参数值依次设置为0、1、2。

(2)log.dirs:指定运行日志存放的地址,可以指定多个目录,并以逗号分隔。(3)zookeeper.connect:指定Zookeeper集群中的IP与端口号。

(4) delete.topic.enable:是否允许删除 Topic,如果设置 true,表示允许删除。

(5)host.name:设置本机 IP 地址。若设置错误,则客户端会抛出Producer connection to localhost:9092 unsuccessful 的异常信息。

3、添加环境变量(vi  /etc/profile)

添加内容如下:

export  KAFKA_HOME =/opt/mofule/kafka

export PATH=$PATH:$KAFKA_HOME/bin

 

4、分配文件

修改配置文件后。将Kafka分发至slave两个节点,代码如下:

 scp -r kafka/ slave1:/opt/module/

 scp -r kafka/ slave2:/opt/module

 scp /etc/profile slave1:/etc/profile

scp /etc/profile slave1:/etc/profile

5、在slave1节点和slave2节点上修改Kafka的配置文件

 

 

 

 6、启动Kafka服务

因为Kafka服务依赖zookeeper,所以现在三个节点上开启zookeeper服务,命令为:zkServer.sh   start ,在开启Kafka服务。

上图所示,用jps命令可以看到zookeeper和kafka服务已经开启,所以kafka已经安装完毕。

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/937626.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号