栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

大数据实时存储资源评估方法

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

大数据实时存储资源评估方法

评估思路

1.数据高峰期QPS计算,数据量/高峰期时长,根据二八法则

2.存储计算,考虑每天的数据总量包括原始数据量以及副本数据量,考虑数据保存时长以及高峰期QPS占集群总承载能力的百分比

3.磁盘数量计算,根据第二步计算物理机数量以及磁盘数量

4.磁盘类型选择,SSD or SAS,有钱直接SSD就行了

5.内存估算,资金充足时越大越好,kafka topic partition占用总内存除以物理机数量等于单台物理机需要的内存,考虑partition数据不需要完全放在内存中,20%就行了

6.CPU,资金充足时核数越多越好,kafka线程不到200个,一般16核就行了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/284722.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号