Kafka

一、环境说明二、安装步骤

目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即2_12_3.1.0版本中内置有zookeeper，故针对zookeeper环境有两种：
1. 使用内置的zookeeper
如果选择使用内置的zookeeper，则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容
2. 使用外部的zookeeper
需要提前安装好zookeeper集群

在本案例中，我们采用了外部的zookeeper，即搭建了三节点的集群zookeeper环境，以其作为Kafka2_12_3.1.0版本的元数据存储库。

zookeeper环境配置如下：

kafka环境配置如下：

上传Kafka安装包，解压安装

tar -zvxf kafka_2.12-3.1.0.tgz -C /training

修改server.properties文件,只需要修改如下几项即可：

broker.id=0
log.dirs=/training/kafka-cluster/kafka-logs
zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
group.initial.rebalance.delay.ms=3

其他配置默认即可

分发整个Kafka安装目录到其他节点

 scp -r /training/kafka-cluster root@hadoop003:/training/
 scp -r /training/kafka-cluster root@hadoop004:/training/

到其他两个节点分别修改server.properties中的broker.id为：1和2，
注意：broker.id 不得重复

启动Kafka集群

先启动zookeeper集群（自行启动）依次在hadoop002、hadoop003，hadoop004上启动Kafka集群,执行如下命令：

kafka-server-start.sh server.properties &

注意：该命令是相对路径下执行且以后台进程方式启动Kafka验证: 三节点上执: jps命令即可看到进程名称为：Kafka