栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

centos上的kafka集群搭建

centos上的kafka集群搭建

选举依赖于zookeeper,所以前提需要安装了zookeeper。参考文档 zookeeper集群的安装

一:下载安装包

Apache Kafka

本文以 kafka_2.12-1.0.2.tgz 为例

解压安装到各个节点上

本文是以在一个节点 (node121)安装配置后,使用rsync命令道其他节点

tar -zxvf kafka_2.12-1.0.2.tgz -C /opt/cluster/server

二:配置环境变量

vi /etc/profile

将kafka的安装路径配置到path变量里

export KAFKA_HOME=/opt/cluster/server/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin

三: 编辑server端的配置文件

在 kafka_2.12-1.0.2/config里面的 server.config,配置

broker.id=1   # broker在集群的唯一标志,类似身份证。可以是任意integer值,但必须唯一
zookeeper.connect=node121:2181,node122:2181,node123:2181  #依赖的zookeeper集群地址
listeners=PLAINTEXT://192.168.186.123:9092 #  broker节点的ip地址,以及对外服务端口.PLAINTEXT在这里既是变量名,也是通讯协议名
log.dir=/opt/cluster/data/kafka-log  # kafka的数据存储路径


############## 上面是必须配置的 ######## 下面的配置是实现内外网隔离,较少用到。#########

# 监听器名称和安全协议的映射配置。
# ⽐如,可以将内外⽹隔离,即使它们都使⽤SSL。
listener.security.protocol.map=INTERNAL:SSL,EXTERNAL:SSL # 这么配置的意思是INTERNAL和EXTERNAL都使用了SSL协议,也可以定义其他的协议。

inter.broker.listener.name=EXTERNAL  # 内部broker间的通信使用的监听器,EXTERNAL在上面是定义了SSL协议
advertised.listeners=://192.168.186.123:9092 # 暴露给外网的服务地址,如果没有配置,则用上面的listeners配置值

四: 将安装目录复制到其他节点

scp -r /opt/cluster/server/kafka_2.12-1.0.2  node122:/opt/
scp -r /opt/cluster/server/kafka_2.12-1.0.2  node123:/opt/

scp /etc/profile node122:/etc/
scp /etc/profile node123:/etc/

五: 在另外的节点上更改下 server.config的broker_id值,确保唯一

这里是  node121: 1

node122: 3

node123: 3

六: 启动验证

1- 启动zookeeper

在各个节点上启动zookeeper,执行

 zkServer.sh start

2- 启动kafka

在各个节点上执行

 kafka-server-start.sh -daemon /opt/cluster/server/kafka_2.12-1.0.2/config/server.properties

3- 查看后台进程

 ps aux | grep kafka

4- 执行kafka命令

例如:创建topic

sh kafka-topics.sh --zookeeper node121:2181,node122:2181,node123:2181 --create --topic test1 --partitions 3 replication-factor 1

查看topic列表

sh kafka-topics.sh --zookeeper node121:2181,node122:2181,node123:2181 --list

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663169.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号