A0-00.大数据集群规模预估

用户数基本固定

• 总用户数(个)：A
• 每个用户每天产生的数据条数(条)：B
• 每条数据的大小(KB)：C
• 日均数据总量(TB)：D = A·B·C/1024/1024/1024
• 数据保留时间(天)：E
• 副本数(个)：F
• 预留大小(百分比)：G
• 数仓分层(扩容倍数)：H
• 历史数据量(TB)：I
• 压缩（snappy）：20%
• 计算公式
  • 所需磁盘总量(TB) = D·E·F(1+G)H+I
  • 压缩后：D·E·F(1+G)H+I*20%
• 举例：

用户数不固定，处于增长期

• 存量用户数(个)：A
• 平均日增加用户数(个)：B (需要数据分析师结合公司业务的发展情况进行预测，很可能是一个逻辑斯蒂增长模型。当然了，一步到位的方式还是挺浪费资源的，万一…)
• 每个用户每天产生的数据条数(条)：C
• 每条数据的大小(KB)：D
• 数据保留时间(天)： E
• 副本数(个)： F
• 预留大小(百分比)： G
• 数仓分层(扩容倍数)： H
• 历史数据量(TB)：I
• 压缩（snappy）：20%
• 计算公式
  • 所需磁盘总量(TB) = (A·E+B(E(E+1)/2))C·D/1024/1024/1024·F(1+G)H+I
  • 压缩后：((A·E+B(E(E+1)/2))C·D/1024/1024/1024·F(1+G)H+I)*20%
• 例如：

• 32GB/64GB/128GB/256GB

• 根据任务量预估
  • 离线任务 + 实时任务
  • 1/4日均数据总量 + 5GB（每秒查询率*窗口大小）
  • 例如：
    • 共需内存：1/4*2.79TB + 5GB = 719.24GB
    • 主服务器：2 * 128GB = 256GB
    • 从服务器：16 * 64GB = 1024GB

• 16核32线程
• 20核40线程
• 32核64线程
• 40核80线程

• 核心数:内存 = 1:4
• 例如：
  • 主服务器：2 * 32核
  • 从服务器：16 * 20核