栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Zookeeper在kafka作用(kafka部署安装)

Zookeeper在kafka作用(kafka部署安装)

配置前准备 

将kafka_2.12-3.0.0.tgz安装包上传到xshell

在xshell上解压缩包

输入解压命令:

cd kafka
tar -zxvf kafka_2.12-3.0.0.tgz

kafka有内置的zookeeper,但是此处采用外置zookeeper,此时zookeeper必须安装配置成功

配置

1、配置环境变量

vim .bashrc

在文件末尾增加如下内容:

#kafka
export KAFKA_HOME=/home/ZQ/kafka/kafka_2.12-3.0.0
export PATH=$PATH:$KAFKA_HOME/bin

 

  并将环境变量文件传到所有节点(以62为例)

scp -r .bashrc ZQ@10.103.105.62:/home/ZQ

 使环境变量生效(每个节点都需要使环境变量生效)

source .bashrc

2、配置server.properties文件

cd kafka/kafka_2.12-3.0.0/config/
vim server.properties

2-1、修改broker.id

 注意:broker.id与zookeeper中的myid对应

例如zookeeper文件中的zoo.cfg中末尾增加的server.5=westgisB063:2888:3888

所以63节点中的kafka中的server.properties文件中的broker.id=5

 

 2-2、修改log.dirs的路径

2-3、修改zookeeper.connect

注意:zookeeper.connect后面的为主节点和所有从节点

 

2-4将kafka文件传给其他所有主从节点,并修改server.properties文件中的broker.id为对应的值

以62为例

scp -r /home/ZQ/kafka/kafka_2.12-3.0.0/ 10.103.105.62:/home/ZQ

 之后进入62节点的kafka/kafka_2.12-3.0.0/config/中的server.properties,修改broker.id=1

3、启动(须先启动zookeeper再启动kafka)

 cd zookeeper/apache-zookeeper-3.7.0-bin/
bin/zkServer.sh start
cd
cd kafka/kafka_2.12-3.0.0/
 bin/kafka-server-start.sh -daemon config/server.properties

4、查看 

jps

 

 5、关闭

bin/kafka-server-stop.sh -daemon config/server.properties
cd
cd zookeeper/apache-zookeeper-3.7.0-bin/
bin/zkServer.sh stop

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771629.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号