实现Kafka分布式集群的搭建部署
路径：
step1：选择版本
step2：下载解压安装
step:3：修改配置文件
实施：
step1：版本的选型
- 0.8.x：老的版本，很多的问题
- 0.10.x +：消息功能上基本没有问题
- 选择：kafka_2.12-2.4.1.tgz
- Kafka：2.4.1
- Scala：2.12，Kafka是由Scala语言开发
step2：下载解压安装
-
下载地址：http://archive.apache.org/dist/kafka/
-
上传到第一台机器
cd /export/software/ rz
-
解压
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/ cd /export/server/kafka_2.12-2.4.1/ mkdir logs
- bin：一般用于存放客户端操作命令脚本
- sbin：一般用于存放集群的启动和关闭的命令脚本，如果没有这个命令，脚本放在bin目录中
- conf/etc/config：配置文件目录
- lib：jar包的存放目录
- logs：一般用于存放服务日志
step3：修改配置
- 切换到配置文件目录
cd /export/server/kafka_2.12-2.4.1/config
-
修改server.properties
#21行：唯一的 服务端id broker.id=0 #60行：指定kafka的日志及数据【segment【.log,.index】】存储的位置 log.dirs=/export/server/kafka_2.12-2.4.1/logs #123行：指定zookeeper的地址 zookeeper.connect=node1:2181,node2:2181,node3:2181 #在最后添加两个配置，允许删除topic，当前kafkaServer的主机名 delete.topic.enable=true host.name=node1
-
分发
cd /export/server/ scp -r kafka_2.12-2.4.1 node2:$PWD scp -r kafka_2.12-2.4.1 node3:$PWD
-
第二台：server.properties
#21行：唯一的 服务端id broker.id=1 #最后 host.name=node2
-
第三台：server.properties
#21行：唯一的 服务端id broker.id=2 #最后 host.name=node3
-
添加环境变量
#进入文件 vim /etc/profile #修改内容 #KAFKA_HOME export KAFKA_HOME=/export/server/kafka_2.12-2.4.1 export PATH=:$PATH:$KAFKA_HOME/bin #刷新文件 source /etc/profile
