kafka安装配置(kafka集群为什么需要三个节点)

安装

1. 在阿里云开源镜像站下载kafka安装包2. 解压到指定目录并更名3. 修改server.properties文件4. 配置环境变量5.分发kafka目录到集群其他机器6. 修改其他机器的broker.id 测试

1. 启动kafka2. 编写群起脚本

kafka_2.11-2.0.0 版本
前置内容：需要先搭建zookeeper集群

阿里云开源镜像站
阿里云镜像站现在只有2.8之后的版本，kafka2.8之后不再依赖zookeeper

tar -zxvf /chinaskills/kafka_2.11-2.0.0.tgz -C /usr/local/src/
cd /usr/local/src
mv kafka_2.11-2.0.0 kafka

# 先在kafka目录下创建一个logs文件夹
mkdir kafka/logs
cd kafka/config

vi server.properties
# 需要修改以下内容
# 集群环境每台机器的id不能相同
broker.id=0
# kafka暂存数据与日志都在这里面
log.dirs=/usr/local/src/kafka/logs
# zookeeper目录树
zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka

可配可不配，配了方便些

vi /etc/profile
# 添加以下内容
export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin

cd /usr/local/src
scp -r kafka root@slave1:$PWD
scp -r kafka root@slave2:$PWD

vi /usr/local/src/kafka/config/server.properties
# slave1的id修改为1:
broker.id=1
# slave2的id修改为2：
broker.id=2

#需要先启动zk
#在三台机器上分别执行
/usr/local/src/zookeeper/bin/zkServer.sh start
# 启动kafka(单节点启动，需要在三台节点上都执行)
bin/kafka-server-start.sh -daemon config/server.properties

由于单节点启动过于麻烦，所以编写一个脚本直接启动集群

cd kafka/bin
vi kk.sh

写入以下内容

#!/bin/bash
case $1 in
"start"){
	for i in master slave1 slave2
	do
		echo "**********$i**********"
		ssh $i "/usr/local/src/kafka/bin/kafka-server-start.sh -daemon /usr/local/src/kafka/config/server.properties"
	done
};;

"stop"){
	for i in master slave1 slave2
	do
		echo "**********$i**********"
		ssh $i "/usr/local/src/kafka/bin/kafka-server-stop.sh /usr/local/src/kafka/config/server.properties"
	done
};;
esac

修改文件权限

chmod 777 kk.sh

测试

bin/kk.sh stop
bin/kk.sh start