栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据实时存储资源评估方法

大数据实时存储资源评估方法

评估思路

1.数据高峰期QPS计算,数据量/高峰期时长,根据二八法则

2.存储计算,考虑每天的数据总量包括原始数据量以及副本数据量,考虑数据保存时长以及高峰期QPS占集群总承载能力的百分比

3.磁盘数量计算,根据第二步计算物理机数量以及磁盘数量

4.磁盘类型选择,SSD or SAS,有钱直接SSD就行了

5.内存估算,资金充足时越大越好,kafka topic partition占用总内存除以物理机数量等于单台物理机需要的内存,考虑partition数据不需要完全放在内存中,20%就行了

6.CPU,资金充足时核数越多越好,kafka线程不到200个,一般16核就行了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/300904.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号