栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka的快速操作版

kafka的快速操作版

一 kafka的操作配置 1.1 修改配置文件

1.2 scp命令复制配置好的文件

1.3 启动命令
1.前台启动
bin/kafka-server-start.sh config/server.properties

2.进程后台启动
nohup bin/kafka-server-start.sh config/server.properties &

3.scp命令复制一台机器配置好的到另一台
scp  -r   /zk   bonc@10.119.65.32:/home/zk
1.4 常用kafka操作命令 

1.4.1 在master01节点上创建topic主题

在mster01节点上创建一个kafka_test的主题, 有三个分区,有两个副本

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ cd /home/bonc/export/servers/

[bonc@f62ceec424b5 servers]$ ls

kafka_2.12-2.1.0  zookeeper-3.4.10

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ bin/kafka-topics.sh --create --zookeeper 172.17.0.2:2181 --replication-factor 2 --partitions 3 --topic kafka_test

WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.

Created topic "kafka_test".

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$

1.4.2 查看topic主题命令

#在master节点查看主题命令

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ cd /home/bonc/export/servers/kafka_2.12-2.1.0/

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ ls

bin  config  libs  LICENSE  logs  nohup.out  NOTICE  site-docs

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ ls

bin  config  libs  LICENSE  logs  nohup.out  NOTICE  site-docs

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ bin/kafka-topics.sh  --list --zookeeper 172.17.0.2:2181,172.17.0.3:2181,172.17.0.4:2181

kafka_test

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$

 1.4.3  使用descirbe查看topic主题命令

在master01节点上查看topic主题信息:

cd   /home/bonc/export/servers/kafka_2.12-2.1.0

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$ bin/kafka-topics.sh --describe --zookeeper 172.17.0.2:2181 --topic kafka_test

Topic:kafka_test PartitionCount:3 ReplicationFactor:2 Configs:

Topic: kafka_test Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1

Topic: kafka_test Partition: 1 Leader: 1 Replicas: 1,2 Isr: 1,2

Topic: kafka_test Partition: 2 Leader: 2 Replicas: 2,0 Isr: 2,0

[bonc@f62ceec424b5 kafka_2.12-2.1.0]$

说明:

这是输出的解释。第一行给出了所有分区的摘要,每个附加行提供有关一个分区的信息。由于我们只有一个分区用于此主题,因此只有一行。

“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的领导者。(因为在kafka中 如果有多个副本的话,就会存在leader和follower的关系,表示当前这个副本为leader所在的broker是哪一个)

“replicas”是复制此分区日志的节点列表,无论它们是否为领导者,或者即使它们当前处于活动状态。(所有副本列表 0 ,1,2)

“isr”是“同步”复制品的集合。这是副本列表的子集,该列表当前处于活跃状态并且已经被领导者捕获。(可用的列表数)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/700409.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号