栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

自建kafka和公有云kafka对比

自建kafka和公有云kafka对比

阿里云相关文档:

开源对比:开源对比 - 产品简介| 阿里云

使用限制:使用限制 - 产品简介| 阿里云

存储引擎对比 :存储引擎对比 - 产品简介| 阿里云

腾讯云相关文档:

开源对比:消息队列 CKafka 开源对比 - 产品简介 - 文档中心 - 腾讯云

使用限制:消息队列 CKafka 使用限制 - 产品简介 - 文档中心 - 腾讯云

类型

数据过期时间

支持版本

是否暴露zk

副本数

磁盘自动扩容

查看消息

升级版本

Topic数量

自动创建topic

自建自定义自定义自定义不支持kafdrop支持无限制支持
阿里云

24小时~720小时

磁盘容量不足85%自动删数据

0.10.x~2.x版本3副本不支持控制台支持

无限制

要收费

不支持
腾讯云

 24 ~ 2160 小时

磁盘容量不足90%自动删数据

0.9、0.10、1.1 、

2.4、2.8版本

默认2副本,支持3副本支持控制台不支持最多50个支持

公有云kafka的优势:

1、节省运维成本,部署/监控/扩容方便

2、稳定性好,高SLA保障

3、腾讯云kafka可以查看topic生产端连接关系

公有云kafka的劣势:

1、数据保存时间不一定可以满足公司的需求

2、不暴露zk,无法接入kafdrop和kafka manager,开发查看数据不方便,运维需要在不同账号直接切换,增加运维成本

3、资源成本比较高,一是磁盘费用,二是流量费用,三是规格费用

使用建议

1、注意监控磁盘使用率,设置合理阈值,及时处理,以免造成数据误删;

2、阿里云kafka如果有Compact、幂等、事务、分区顺序消息等需求,建议选择Local存储;

3、由于阿里云和腾讯云不暴露zk,因此无法接入kafdrop,kafka manager等工具,查看消息和日常运维需要在控制台执行;

4、阿里云kafka升级配置可能会短暂不可用或者消息乱序,谨慎操作;升级消息队列Kafka版实例的流量规格时,可能会触发集群横向扩容,需要进行Topic引流

综上,公有云适合存储时间不长,topic数量不多,开发不经常查看数据等要求,网站活动跟踪、日志聚合、流计算处理等应用场景。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/748210.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号