Zookeeper 版本: https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gzkafka 版本: https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
| 机器 | 集群节点 | ip | OS |
|---|---|---|---|
| vm0 | zk0、broker0 | 10.23.243.224 | CentOS Linux release 8.4.2105 |
| vm1 | zk1、broker1 | 10.23.147.1 | CentOS Linux release 8.4.2105 |
| vm2 | zk2、broker2 | 10.23.126.115 | CentOS Linux release 8.4.2105 |
zookeeper 集群搭建参见 zookeeper 集群部署 2.2 搭建 kafka 集群 1）下载解压
mkdir -p /root/kafka && cd /root/kafka wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz tar -xzvf kafka_2.13-3.1.0.tgz cd kafka_2.13-3.1.0/2）修改配置
拷贝 kafka 目录到另外两台机器上，分别进入 config 目录修改配置文件 server.properties，修改如下
broker0
broker.id=0 # 集群中 broker 节点的唯一标识
listeners=PLAINTEXT://10.23.243.224:9092 # 内网监听地址与端口
advertised.listeners=PLAINTEXT://{{eip}}:9092 # 外网监听地址与端口，{{eip}} 为机器外网 ip
log.dirs=/root/kafka/kafka_2.13-3.1.0/data # 消息存放位置,非 kafka 自身运行日志
zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
broker1
broker.id=1 # 集群中 broker 节点的唯一标识
listeners=PLAINTEXT://10.23.147.1:9092 # 内网监听地址与端口
advertised.listeners=PLAINTEXT://{{eip}}:9092 # 外网监听地址与端口，{{eip}} 为机器外网 ip
log.dirs=/root/kafka/kafka_2.13-3.1.0/data # 消息存放位置,非 kafka 自身运行日志
zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
Broker2
broker.id=2 # 集群中 broker 节点的唯一标识
listeners=PLAINTEXT://10.23.126.115:9092 # 内网监听地址与端口
advertised.listeners=PLAINTEXT://{{eip}}:9092 # 外网监听地址与端口，{{eip}} 为机器外网 ip
log.dirs=/root/kafka/kafka_2.13-3.1.0/data # 分区数据存放位置,非 kafka 自身运行日志
zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
3）启动集群
在三台机器上使用一下命令分别启动 kafka
cd /root/kafka/kafka_2.13-3.1.0/ && bin/kafka-server-start.sh config/server.properties3. 验证使用
创建 topic
bin/kafka-topics.sh --create --bootstrap-server 10.23.243.224:9092 --replication-factor 3 --partitions 1 --topic mytopic
查看 topic
bin/kafka-topics.sh --describe --bootstrap-server 10.23.243.224:9092 --topic mytopic
