栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

部署zookeeper和kafka集群

部署zookeeper和kafka集群

·@TOC

基础配置

先关闭firewall和enforce
先关闭firewall和enforce
先关闭firewall和enforce
重要的事情说三遍!!!!
先更改主机名
IP地址 | 主机名
-------- | -----
192.168.200.11| zookeeper1
192.168.200.12 | zookeeper2
192.168.200.13 | zookeeper3
然后更改/etc/hosts文件
192.168.200.11 zk1.mall zookeeper1.mall kafka1.mall
192.168.200.12 zk2.mall zookeeper2.mall kafka2.mall
192.168.200.13 zk3.mall zookeeper3.mall kafka3.mall

然后通过scp传到其他的主机上

scp /etc/hosts zk2.mall:/etc/hosts
scp /etc/hosts zk3.mall:/etc/hosts

可以使用bash刷新一下
然后配置yum源

rm -rf /etc/yum.repos.d/*
echo -e "[centos]nname=centosnbaseurl=file:///median/gpgcheck=0nenabled=1n[gpmall]nname=gpmallnbaseurl=file:///root/gpmall-repongpgcheck=0nenabled=1" >> /etc/yum.repos.d/local.repo
mount /root/CentOS-7-x86_64-DVD-1511.iso /media/

然后使用yum安装我们需要的软件

yum install -y java java-devel vim
zookeeper

zookeeper1节点配置
解压zookeeper压缩包

tar -zxvf zookeeper-3.4.14.tar.gz 

修改配置文件

cd /root/zookeeper-3.4.14/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
#在最下方加入三行
server.1=192.168.200.11:2888:3888
server.2=192.168.200.12:2888:3888
server.3=192.168.200.13:2888:3888
#然后保存退出
 mkdir /tmp/zookeeper
#向/tmp/zookeeper/myid文件中新添加一个1
cat /tmp/zookeeper/myid 
1

zookeeper2节点配置
解压zookeeper压缩包

tar -zxvf zookeeper-3.4.14.tar.gz 

修改配置文件

cd /root/zookeeper-3.4.14/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
#在最下方加入三行
server.1=192.168.200.11:2888:3888
server.2=192.168.200.12:2888:3888
server.3=192.168.200.13:2888:3888
#然后保存退出
 mkdir /tmp/zookeeper
#向/tmp/zookeeper/myid文件中新添加一个1
cat /tmp/zookeeper/myid 
2

zookeeper3节点配置
解压zookeeper压缩包

tar -zxvf zookeeper-3.4.14.tar.gz 

修改配置文件

cd /root/zookeeper-3.4.14/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
#在最下方加入三行
server.1=192.168.200.11:2888:3888
server.2=192.168.200.12:2888:3888
server.3=192.168.200.13:2888:3888
#然后保存退出
 mkdir /tmp/zookeeper
#向/tmp/zookeeper/myid文件中新添加一个1
cat /tmp/zookeeper/myid 
3

然后再三个节点上启动zookeeper

/bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh start

可以通过/bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status 来查看zookeeper的状态

zookeeper1节点

[root@zookeeper1 config]# /bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /root/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Mode: follower
[root@zookeeper1 config]#

zookeeper2节点

[root@zookeeper2 config]# /bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /root/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Mode: follower
[root@zookeeper2 config]#

zookeeper3节点

[root@zookeeper3 config]# /bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /root/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Mode: leader
[root@zookeeper3 config]#

有一个leader是正常的

kafka

zookeeper1配置
解压kafka压缩包

tar -zxvf kafka_2.11-1.1.1.tgz 

修改配置文件

cd /root/kafka_2.11-1.1.1/config/
vim server.properties 
#21行注释
#123行注释
#修改31行
listeners=PLAINTEXT://192.168.200.11:9092
#在文件最下方添加两行内容
broker.id=1
zookeeper.connect=192.168.200.11:2181,192.168.200.12:2181,192.168.200.13:2181

zookeeper2配置
解压kafka压缩包

tar -zxvf kafka_2.11-1.1.1.tgz 

修改配置文件

cd /root/kafka_2.11-1.1.1/config/
vim server.properties 
#21行注释
#123行注释
#修改31行
listeners=PLAINTEXT://192.168.200.12:9092
#在文件最下方添加两行内容
broker.id=2
zookeeper.connect=192.168.200.11:2181,192.168.200.12:2181,192.168.200.13:2181

zookeeper3配置
解压kafka压缩包

tar -zxvf kafka_2.11-1.1.1.tgz 

修改配置文件

cd /root/kafka_2.11-1.1.1/config/
vim server.properties 
#21行注释
#123行注释
#修改31行
listeners=PLAINTEXT://192.168.200.12:9092
#在文件最下方添加两行内容
broker.id=3
zookeeper.connect=192.168.200.11:2181,192.168.200.12:2181,192.168.200.13:2181

然后再三个节点上启动kafka

/root/kafka_2.11-1.1.1/bin/kafka-server-start.sh -daemon /root/kafka_2.11-1.1.1/config/server.properties

可以使用jps查看进程是否运行

[root@zookeeper1 config]# jps
6055 Kafka
6121 Jps
5674 QuorumPeerMain
[root@zookeeper1 config]# 
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/335067.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号