栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka集群搭建(使用自带zookeeper,多节点)

Kafka集群搭建(使用自带zookeeper,多节点)

1-Kafka集群搭建

1.安装包解压至相应目录
/home/ZX/soft/kafka_2.12-3.0.0

2.搭建三个节点
IP broker.id myid
10.103.105.91 1 1
10.103.105.92 2 2
10.103.105.93 3 3

3.修改配置文件
(1)zookeeper.properties

dataDir=/home/ZX/soft/kafka_2.12-3.0.0/zookeeper
dataLogDir=/home/ZX/soft/kafka_2.12-3.0.0/datalog
clientPort=2181
maxClientCnxns=100
tickTime=20
initLimit=10
syncLimit=5
server.1=10.103.105.91:2888:3888
server.2=10.103.105.92:2888:3888
server.3=10.103.105.93:2888:3888


三个机器上的zookeeper.properties文件配置相同,需要注意的是日志保存的路径,不会自动生成,需要自己手动建立相关的路径, dataLogDir是自己加的,日志文件太多,把日志文件区分开;
(2)server.properties
server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为1,2,3;log.dirs必须保证目录存在,不会根据配置文件自动生成;

注意:以下是要修改地方的代码,并不是只有这几个,其他配置保持默认即可。

broker.id=3
listeners=PLAINTEXT://10.103.105.93:9092
advertised.listeners=PLAINTEXT://10.103.105.93:9092
log.dirs=/home/ZX/soft/kafka_2.12-3.0.0/logs/kafka
zookeeper.connect=10.103.105.91:2181,10.103.105.92:2181,10.103.105.93:2181



三个机器上的server.properties中有所不同;
broker.id,图中两个listenners分别为对应的值。

所以,可在91节点配置好后,远程拷贝文件夹到其他节点,之后只需修改config/server.properties中三处,还有myid文件中的值。

4.创建myid文件,进入dataDir,创建myid文件,将三个节点上的myid文件分别写入1,2,3


—-myid是zk集群用来发现彼此的标识,必须创建,且不能相同;

5.启动zookeeper
方法一:
进入kafka目录 执行启动zookeeper命令:

./bin/zookeeper-server-start.sh config/zookeeper.properties &

三台机器都执行启动命令,查看zookeeper的日志文件,没有报错就说明zookeeper集群启动成功了。
方法二:
进入kafka目录 执行启动zookeeper命令:

./bin/zookeeper-server-start.sh config/zookeeper.properties 

此时,窗口会卡住,没有回到命令提示符状态,如图:

不要退出,重新打开一个终端窗口,输入:jps

表示zookeeper已经在运行中。
另外两个节点同理。


6.启动kafka集群,
方法一:
进入kafka目录,执行如下命令 :

./bin/kafka-server-start.sh –daemon config/server.properties &

三个节点均要启动;启动无报错,即搭建成功,可以生产和消费消息,来检测是否搭建成功。
方法二:
进入kafka目录 执行如下命令:

./bin/kafka-server-start.sh config/server.properties

此时,窗口会卡住,没有回到命令提示符状态,如图:

不要退出,重新打开一个终端窗口,输入:jps

表示Kafka已经在运行中。
另外两个节点同理。


7.检测是否搭建成功
可以生产和消费消息,来检测是否搭建成功。
7.1创建topic–test

bin/kafka-topics.sh --bootstrap-server 10.103.105.91:9092,10.103.105.92:9092,10.103.105.93:9092 --create --topic test1 --partitions 2 --replication-factor 1


如图所示,创建成功。
参数说明:
topic:指定topic name
partitions:指定分区数,这个参数需要根据broker数和数据量决定,正常情况下,每个broker上两个partition最好
replication-factor:副本数,建议设置为2

7.2列出已创建的topic列表

bin/kafka-topics.sh --list --bootstrap-server 10.103.105.91:9092

7.3模拟客户端去发送消息

./bin/kafka-console-producer.sh --broker-list 10.103.105.91:9092, 10.103.105.92:9092, 10.103.105.93:9092 --topic test1


如图,可在>之后输入信息,然后再次开启新的终端或者直接按CTRL+C退出。

7.4模拟客户端去接受消息

bin/kafka-console-consumer.sh --bootstrap-server 10.103.105.91:9092, 10.103.105.92:9092, 10.103.105.93:9092 --from-beginning --topic test1


此时,我们到其他节点上看是否可以接受到消息。


可以接受到,成功。

7.5查看指定的主题

./bin/kafka-topics.sh --describe --bootstrap-server 10.103.105.91:9092, 10.103.105.92:9092, 10.103.105.93:9092 --topic test1


8.关闭

./bin/kafka-server-stop.sh 
./bin/zookeeper-server-stop.sh 

参考文章:https://blog.csdn.net/zxy987872674/article/details/72493128

2-问题及解决办法:

2.1

解决办法:
在较新版本(2.2 及更高版本)的 Kafka 不再需要 ZooKeeper 连接字符串,即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。

bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic heima --partitions 2 --replication-factor 1
bin/kafka-topics.sh --bootstrap-server 10.103.105.91:9092 --create --topic heima --partitions 2 --replication-factor 1

2.2-创建topic失败

解决办法:
修改Kafka的server.properties

2.3 zookeeper正常启动,但Kafka启动不了
解决办法:删除/config/server.properties中所设置的log.dirs存储位置下所有文件。


2.4

解决办法:

bin/kafka-topics.sh --bootstrap-server 10.103.105.91:9092 --create --topic heima --partitions 2 --replication-factor 1


2.5.创建topics时失败
原命令: bin/kafka-topics.sh --list --zookeeper localhost:2181 失败
解决办法:采用命令:

bin/kafka-topics.sh --list --bootstrap-server 10.103.105.91:9092
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/760836.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号