栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

2-Kafka集群搭建

2-Kafka集群搭建

Kafka集群搭建

Kafka集群是必须要有ZooKeeper的

注意:

每一个Kafka的节点都需要修改broker.id(每个节点的标识,不能重复)log.dir数据存储目录需要配置 Kafka的生产者/消费者/工具

安装Kafka集群,可以测试以下

创建一个topic主题(消息都是存放在topic中,类似mysql建表的过程)基于kafka的内置测试生产者脚本来读取标准输入(键盘输入)的数据,并放入到topic中基于kafka的内置测试消费者脚本来消费topic中的数据 推荐大家开发的使用Kafka Tool

浏览Kafka集群节点、多少个topic、多少个分区创建topic/删除topic浏览ZooKeeper中的数据 Kafka的基准测试工具

Kafka中提供了内置的性能测试工具

生产者:测试生产每秒传输的数据量(多少条数据、多少M的数据)

5000000 records sent, 11825.446943 records/sec (11.28 MB/sec), 2757.61 ms avg latency

消费者:测试消费每条拉取的数据量

对比生产者和消费者:消费者的速度更快

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775710.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号