栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

KAFKA单机和集群安装部署

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

KAFKA单机和集群安装部署

KAFKA单机部署 一、安装JDK (kafka 是Scala 语言开发,运行在 jvm 上)

1、将jdk的安装包下载后上传到服务器中。

jdk下载地址:https://www.jb51.net/softs/691593.html

2、登录服务器后解压jdk的安装包

执行:tar -zxvf jdkxx.x.x_xx.tgz -C /xxxx(解压至指定目录中)

3、配置环境变量(对所有用户的shell都生效)

执行:vim /etc/profile

在文件的末尾输入:

export JAVA_HOME=/xxx(jdk解压目录)

export PATH=$JAVA_HOME/bin:$PATH

保存退出

执行 source /etc/profile

输入java -version进行测试

二、下载安装zookeeper

1、下载zookeeper安装包

https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

2、将zookeeper的安装下载后上传至服务器后解压

执行:tar -zxvf zookeeper-3.8.0 -C /xxxx(解压至指定目录中)

3、修改zookeeper保存数据的目录,配置文件为xx/zookeeper/conf/zoo.cfg

将zoo_sample.cfg复制命名为zoo.cfg

执行:vim zoo.cfg

找到dataDir关键字后修改后面所跟着的路径

4、修改环境变量

修改/etc/profile

执行vim /etc/profile

export ZOOKEEPER=/xx/zookeeper-3.4.14

export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

export ZOO_LOG_DIR=/xxxx/zookeeper/log

source /etc/profile

5、启动zookeeper

启动:zkServer.sh start

停止:zkServer.sh stop

重启:zkServer.sh restart

三、下载安装kafka

1、下载kafka安装包

下载地址:Index of /dist/kafka,下载完成后将kafka的安装包上传到服务器中

2、修改kafka配置信息

解压kafka压缩包执行:tar -zxvf kafka_2.12-3.2.0 -C /xx (解压至指定目录中)

修改环境变量执行:vim /etc/profile

export KAFKA_HOME=/data/elk/kafka_2.12-3.2.0

export PATH=$KAFKA_HOME/bin:$PATH

让环境变量生效:source /etc/profile

修改配置文件:config中的server.properties文件

#kafka连接zookeeper地址:

zookeeper.connect=localhost:2181

#配置kafka存储持久化数据目录

log.dirs=xxxxx

3、启动kafka

进入kafka安装的根目录,执行:kafka-service-start.sh ../config/service.properties &

四、测试是否正常

1、topic创建的测试

创建topic执行:

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic topic-name

--replication-factor 3 (表示复制两份)

--partitions 1 (表示创建一个分区)

查看所有创建的topic列表

kafka-topics.sh --list --bootstrap-server localhost:9092

查看指定的topic信息

kafka-topics.sh --describe --topic topic-name --bootstrap-server localhost:9092

2、发送消息

kafka提供了一个命令行的工具,可以从输入文件或者命令行中读取消息并发送给kafka集群。每一行是一个消息。

kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name

xxxxx

xxxxx

3、消费消息

kafa也提供了一个消费消息的命令行工具,将存储的信息输出。

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic-name

xxxxx

xxxxx

KAFKA集群部署

与单机部署类似,只需要额外修改服务的配置文件

一、修改zookeeper配置文件:

vim /xxx/zoo.cfg (单机部署时zookeeper的配置文件)

# 修改为自定义的zookeeper数据目录

dataDir=/data/zookeeper/data

# 修改为自定义的zookeeper日志目录

dataLogDir=/data/zookeeper/logs

# 端口

clientPort=2181

# 设置broker Id的服务地址,本机ip一定要用0.0.0.0代替 server.1=0.0.0.0:2888:3888

server.2=192.168.10.101:2888:3888   #第二个节点的ip地址和端口

server.3=192.168.10.102:2888:3888   #第三个节点的ip地址和端口

二、修改kafka的配置文件

vim /xxx/config/server.properties

# 每台服务器的broker.id都不能相同

broker.id=1

# 是否可以删除topic

delete.topic.enable=true

# topic 在当前broker上的分片个数,与broker保持一致

num.partitions=3

# 每个主机地址不一样:

listeners=PLAINTEXT://xx.xx.xx.xx:9092  #本机服务器的IP地址

advertised.listeners=PLAINTEXT://xx.xx.xx.xx:9092   #本机服务器的IP地址

log.dirs=/data/kafka/kafka-logs

# 设置zookeeper集群地址与端口如下: zookeeper.connect=xx.xx.xx.xx:2181,xx.xx.xx.xx:2181,xx.xx.xx.xx:2181

如果zookeeper集群启动失败,请在服务器上使用telnet命令检查网络是否能通

如在第一个节点的服务器上执行:

telnet xx.xx.xx.xx 2181(第二,三个节点服务器的ip地址)

如果不通在防火墙上开通对应的端口或者关闭防火墙

开放指定端口

firewall-cmd --add-port=8080/tcp --permanent

重载入添加的端口

firewall-cmd --reload

查看指定端口是否已经开放

firewall-cmd --query-port=8080/tcp

移除指定端口

firewall-cmd --permanent --remove-port=8080/tcp

查询开放的端口列表

firewall-cmd --zone=public --list-ports

查看防火墙状态 systemctl status firewalld

开启防火墙 systemctl start firewalld

关闭防火墙 systemctl stop firewalld

重启防火墙 service firewalld start

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/951237.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号