WIN10 单机安装 kafka集群；用于存储从mysql同步过来的记录

系列文章目录

文章目录

• 系列文章目录
• 前言
• 一、目标：
• 二、下载安装配置：
• • 1、下载安装包到 Big_Data目录
  • 2、点右键解压文件夹到当前文件夹
  • 3、复制解压后的文件夹 kafka_2.13-2.7.0_1，粘贴1次，修改“副本”的文件夹名字为kafka_2.13-2.7.0_2
  • 4、进入kafka_2.13-2.7.0_1config文件夹
  • 5、修改server.properties文件，可以直接复制以下配置信息
  • 6、进入kafka_2.13-2.7.0_1文件夹，新建 start_kafka1.bat文件
  • 7、编辑start_kafka1.bat
  • 8、双击执行start_kafka1.bat，可启动kafka1节点
  • 9、进入kafka_2.13-2.7.0_2config文件夹
  • 10、修改server.properties文件，可以直接复制以下配置信息
  • 11、进入kafka_2.13-2.7.0_2文件夹，新建 start_kafka2.bat文件
  • 12、编辑start_kafka2.bat
  • 13、双击执行start_kafka2.bat，可启动kafka2节点
  • 14、验证kafka
  • 15、创建1个topic
  • 16、监控kafka数据
  • 17、再打开一个cmd，切换到目录D:Big_Datakafka_2.13-2.7.0_1binwindows
  • 18、写入kafka数据
  • 19、然后在>符号后随意输入文件，会在16步的窗口中看到这里输入的文字。到此kafka集群安装成功
• 总结

---

前言 目标：安装 单机 kafka 集群 组件；用于存储从mysql同步过来的记录 ################################## 先上厕所 ################################## ################################## 备好茶水 ################################## ################################## 备好零食 ################################## ################################## 开始安装 ##################################

---

一、目标：

目标：安装 单机 kafka 集群 组件；用于存储从mysql同步过来的记录

二、下载安装配置： 1、下载安装包到 Big_Data目录

下载地址：https://download.csdn.net/download/vernyang/33339522

2、点右键解压文件夹到当前文件夹 3、复制解压后的文件夹 kafka_2.13-2.7.0_1，粘贴1次，修改“副本”的文件夹名字为kafka_2.13-2.7.0_2 4、进入kafka_2.13-2.7.0_1config文件夹 5、修改server.properties文件，可以直接复制以下配置信息

代码如下（示例）：

# kafka1 config
# ID 每个kafka程序不一样
broker.id=0
# 端口
listeners=PLAINTEXT://localhost:9092
# 日志文件路径
log.dirs=D:\Big_Data\kafka_2.13-2.7.0_1\logs
# zookeeper 地址
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

# 以下配置可以不用改
num.network.threads=3
num.io.threads=8

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

6、进入kafka_2.13-2.7.0_1文件夹，新建 start_kafka1.bat文件 7、编辑start_kafka1.bat

代码如下（示例）：

title kafka1:9092
D:Big_Datakafka_2.13-2.7.0_1binwindowskafka-server-start.bat D:Big_Datakafka_2.13-2.7.0_1configserver.properties

保存

8、双击执行start_kafka1.bat，可启动kafka1节点 9、进入kafka_2.13-2.7.0_2config文件夹 10、修改server.properties文件，可以直接复制以下配置信息

代码如下（示例）：

# kafka2 config
# ID 每个kafka程序不一样
broker.id=1
# 端口
listeners=PLAINTEXT://localhost:9093
# 日志文件路径
log.dirs=D:\Big_Data\kafka_2.13-2.7.0_2\logs
# zookeeper 地址
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

# 以下配置可以不用改
num.network.threads=3
num.io.threads=8

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

11、进入kafka_2.13-2.7.0_2文件夹，新建 start_kafka2.bat文件 12、编辑start_kafka2.bat

输入命令：
代码如下（示例）：

title kafka2:9093
D:Big_Datakafka_2.13-2.7.0_2binwindowskafka-server-start.bat D:Big_Datakafka_2.13-2.7.0_2configserver.properties

保存

13、双击执行start_kafka2.bat，可启动kafka2节点 14、验证kafka

打开cmd，切换到目录 D:Big_Datakafka_2.13-2.7.0_1binwindows

15、创建1个topic

输入命令：
代码如下（示例）：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic user_topic

16、监控kafka数据

输入命令：
代码如下（示例）：

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic user_topic --from-beginning

17、再打开一个cmd，切换到目录D:Big_Datakafka_2.13-2.7.0_1binwindows 18、写入kafka数据

输入命令：
代码如下（示例）：

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic user_topic

19、然后在>符号后随意输入文件，会在16步的窗口中看到这里输入的文字。到此kafka集群安装成功

总结

注意：
1、多个节点要加入集群，每个节点配置文件中的 broker.id 要不一样
2、每个节点配置文件中的 log.dirs=D:Big_Datakafka_2.13-2.7.0_2logs 目录要不一样
3、每个节点配置文件中的 zookeeper.connect=localhost:2181,localhost:2182,localhost:2183 要一样！！！