栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka3.0版本部署及相关明令汇总

kafka3.0版本部署及相关明令汇总

启动顺序,

第一步安装java1.8,https://blog.csdn.net/sslfk/article/details/122806226

第二步:安装kafka3.0.0,内置zookeeper,Apache Kafka,直接解压即可

第三步启动zookeeper

./zookeeper-server-start.sh ../config/zookeeper.properties 1>/dev/null 2>&1 &

第四步:配置kafka

config/server1.properties: broker.id=0 listeners=PLAINTEXT://192.168.10.130:9092 log.dirs=kafka-logs zookeeper.connect=localhost:2181

第五步:启动kfakfa

./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

其他相关命令:

停止kafka
./kafka-server-stop.sh
停止zookeeper
./zookeeper-server-stop.sh
启动zookeeper
./zookeeper-server-start.sh ../config/zookeeper.properties 1>/dev/null 2>&1 &
启动kafka
./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

topic创建:
./kafka-topics.sh --create --bootstrap-server 192.168.9.95:9092 --replication-factor 1 --partitions 1 --topic test1

当前topic列表查看:
./kafka-topics.sh --list --bootstrap-server 192.168.9.95:9092

修改topic的partition数:
kafka-topics.sh --bootstrap-server 192.168.9.95:9092 --alter --topic mytest --partitions 5

topic对应的消息查看:
./kafka-topics.sh --describe --bootstrap-server 192.168.9.95:9092

topic删除:
./kafka-topics.sh --delete --bootstrap-server 192.168.9.95:9092  --topic test1

查看消费者组列表:
./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list
查看消费者组的消费情况:
./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group invoiceUpload

kafka默认保存数据的周期是7天,如果磁盘空间有限,可以减少保存周期

配置方式为:

log.retention.hours=1           # 超过1个小时就清理数据
log.segment.bytes=5000          # 数据量超过5000byte就清理数据
log.cleanup.interval.mins=100      # 指定日志每隔多久检查看是否可以被删除,默认1分钟
log.retention.check.interval.ms=300   # 文件大小检查的周期时间,是否触发 log.cleanup.policy中设置的策略

 参考:

Kafka常用命令(zookeeper与bootstrap-server)_沐已成风的博客-CSDN博客

Kafka broker-list,bootstrap-server以及zookeeper的区别 - 夏天换上冬装 - 博客园

Kafka Shell基本命令(包括topic的增删改查) - XIAO的博客 - 博客园

修改kafka topic的offset几种方法_奔向新世界-CSDN博客_kafka修改偏移量offset

kafka监控命令kafka-run-class.sh查看消费了多少条数据_小强签名设计 的博客-CSDN博客_kafka-run-class.sh

基于Python的Spark Streaming+Kafka编程实践_不积跬步,无以至千里;不积小流,无以成江海!-CSDN博客_python spark streaming

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/730812.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号