kafka+zookeeper在centos7中练习搭建分布式

一.虚拟机克隆三个centos7模拟三台服务器

二.使用MobaXterm或者Xshell连接Linux虚拟机(我这里使用的是MobaXterm)

(1)

我的虚拟机名称就是对应的ip地址

(2)从官网下载最新版kafka和zookeeper

链接：https://pan.baidu.com/s/14zn6DFY0Qifonys8VpHa4w 
提取码：37k9

这边给大家准备好了

我用的这里两个版本测试成功了

(3)在opt目录下建个文件夹module放里面解压就行了

 

解压命令: tar -zxvf kafka_2.11-2.4.1.tgz

tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz

解压好后可以直接改名kafka或者zookeeper

(4)cd /opt/module/zookeeper-3.8.0/conf/

拷贝zoo_sample.cfg文件，改名zoo.cfg

(5)修改zoo.cfg

vim zoo.cfg 

 将192.168.239.130改成你自己对应的虚拟机ip地址就行

(6)在上面指定的dataDir=路径中data里面创建myid

cd /opt/module/zookeeper-3.8.0/data/

vim myid

里面直接就存上面server对应的1 2 3，比如在130服务器上，myid中就写一个1就ok了

启动zookeeper

/opt/module/zookeeper-3.8.0/bin/zkServer.sh start

上面三台服务器都这样配置

(7)安装完kafka. 

cd /opt/module/kafka/config/

vim server.properties

直接修改kafka的properties配置文件

三台服务器不能重复，0,1,2一台一个数就行了

 

 

最后一条重要

 

 (8)配置环境变量
sudo vim /etc/profile.d/my_env.sh

#KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin 复制粘贴过去就行了 source /etc/profile  刷新一下环境变量 先前启动过zookeeper了，现在启动kafka 切记！！！！！！！先启动zookeeper,再启动kafka，关闭也一样 bin/kafka-server-start.sh -daemon config/server.properties 配置好三台都启动 创建topic主题 bin/kafka-topics.sh --bootstrap-server 192.168.239.130:9092 -- create --partitions 1 --replication-factor 3 --topic first  如果报错什么：3>1什么的那就是你剩下两台服务器没开kafka，三个副本，要开三个服务器。 (9)启动生产者测试(可以在130服务器上输入命令，然后随便打几个字) bin/kafka-console-producer.sh --broker-list 192.168.239.130:9092 --topic first

启动消费者测试(在133服务器上输入消费测试的命令，上面输入的数据敲一下回车，133服务器消费测试就能收到了)

bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.130:9092 --topic first --from-beginning

感谢！！！