操作系统：Centos7 集群规划
准备四台虚拟机
| 服务器 | IP | Zookeeper集群 | Kafka集群 |
|---|---|---|---|
| node01 | 192.168.80.129 | Y | |
| node02 | 192.168.80.130 | Y | Y |
| node03 | 192.168.80.131 | Y | Y |
| node04 | 192.168.80.132 | Y |
1、使用服务器名称进行通信
编辑 /etc/hosts 文件，在最后添加如下内容
192.168.80.129 node01 192.168.80.130 node02 192.168.80.131 node03 192.168.80.132 node04
2、关闭防火墙
systemctl stop firewalld systemctl disable firewalld
3、安装 Zookeeper 集群
参考之前的文章：https://blog.csdn.net/gongm24/article/details/122587009
集群安装1、下载
下载地址：https://kafka.apache.org/downloads
本文使用 kafka_2.12-3.0.0.tgz 版本
2、使用 rz 命令上传至服务器
3、解压缩并移动至指令目录
tar -zxvf kafka_2.12-3.0.0.tgz mv kafka_2.12-3.0.0 /usr/local/src
4、创建软连接，方便后续操作
ln -s /usr/local/src/kafka_2.12-3.0.0 /usr/local/src/kafka
进入安装目录，查看文件结构
5、配置
配置 config/server.properties 文件
# 与 zookeeper 的 myid 一样，每个实例拥有唯一的 ID broker.id=1 # 日志文件，数据文件目录 log.dirs=/usr/local/src/kafka/logs # zookeeper 集群，使用逗号分隔 zookeeper.connect=node01:2181,node02:2181,node03:2181/kafka
常用配置项说明
| 配置项 | 示例值 | 描述 |
|---|---|---|
| log.flush.interval.messages | 10000 | 消息写入磁盘策略，最大消息数量 |
| log.flush.interval.ms | 1000 | 消息写入磁盘策略，最大时间间隔 |
| log.retention.hours | 168 | 日志保留策略，基于时间，单位：小时 |
| log.retention.bytes | 1073741824 | 日志保留策略，基于大小 |
| log.segment.bytes | 1073741824 | 单个日志文件大小，超过则创建一个新的日志文件 |
6、配置环境变量
编辑 /etc/profile 文件，添加如下内容至文件末尾
export KAFKA_HOME=/usr/local/src/kafka export PATH=$PATH:$KAFKA_HOME/bin
使配置生效
source /etc/profile
7、配置其它两台服务器
使用 scp 命令将 kafka 文件夹发送至其它两台服务器
scp /usr/local/src/kafka @node02:/usr/local/src scp /usr/local/src/kafka @node03:/usr/local/src
修改 server.properties 配置文件中的 broker.id
部署完成！，启动服务。
Kafka 基本操作启动服务
kafka-server-start.sh /usr/local/src/kafka/config/server.properties &
查看 Zookeeper 目录
因为配置 zookeeper.connect 时最后加了个 /kafka，等于指令了 zookeeper 中的目录，不然 Kafka 的目录会散落在 zookeeper 根目录下。
查看 Kafka 集群信息
查看 Kafka 控制器信息
创建 Topic
kafka-topics.sh --create --bootstrap-server node04:9092 --topic ooxx --partitions 2 --replication-factor 2
查看 Topic 信息
kafka-topics.sh --describe --bootstrap-server node04:9092 --topic ooxx
可以清楚地看到 Topic 的 Partition 是如何分布的。
