kafka查看topic中的数据(kafka顺序消费 如何控制)

安装kafka_2.12-3.1.0

安装环境安装步骤

1、下载安装包2、修改配置文件

修改server.properties添加环境变量3、启动kafka

CentOS版本：7.9

Hadoop集群版本：hadoop-2.10.1

zookeeper集群版本：zookeeper-3.6.3

jdk版本：jdk1.8.0_261

scala版本：2.12.11

集群一共三个节点，名称分别是node01,node02,node03

这里我选的是比较新的版本，此版本支持不把数据存储到zookeeper的KRaft集群，即部署时不需要zookeeper集群，出于学习需要，本文配置的是需要zookeeper的集群模式

KRaft的详细说明来自kafka的config/kraft/README.md文件

kafka官网下载安装包，上传到node01节点，然后解压到指定文件下

tar -zxvf kafka_2.12-3.1.0.gz -C ../servers/
#改名为kafka
mv kafka_2.12-3.1.0 kafka

进入到config目录下

修改node01节点的broker.id（改为0或1都可以，其他节点按顺序增大）

broker.id=0

配置监听信息

listeners=PLAINTEXT://node01:9092

指定zookeeper集群

zookeeper.connect=node01:2181,node02:2181,node03:2181

添加kafka数据路径，需要提前创建kafka本地数据目录（kafka-logs），用于存储数据（消息）

log.dirs=/export/servers/kafka/kafka-logs

将文件分发到其他节点

scp -r kafka/ node02:$PWD
scp -r kafka/ node03:$PWD

修改其余节点的broker.id分别为1，2

node02监听信息：listeners=PLAINTEXT://node02:9092

node03监听信息：listeners=PLAINTEXT://node03:9092

修改/etc/profile文件

vim /etc/profile

export KAFKA_HOME=/export/servers/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

首先启动Hadoop和zookeeper集群，再启动kafka，避免出错
启动时需要在三个节点都输入启动命令

1、使用kafka守护进程启动

[root@node01 kafka]# bin/kafka-server-start.sh -daemon config/server.properties

2、前台启动

[root@node01 kafka]# bin/kafka-server-start.sh config/server.properties

3、后台启动

[root@node01 kafka]# nohup bin/kafka-server-start.sh config/server.properties

使用jps命令查看进程

在zookeeper中查看节点信息，打开zkShell

[root@node01 bin]# zkCli.sh 

可以看到有0，1，2三个broker，说明集群配置成功