栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Storm worker内存设置

Storm worker内存设置

worker相关参数:

topology.worker.max.heap.size.mb: 拓扑每个worker的最大堆内存

worker.childopts:worker启动的JVM参数,其中-Xmx%HEAP-MEM%m使用的是topology.worker.max.heap.size.mb

woker.heap.memory.mb: worker的堆内存大小,默认为768m,如果上述参数未设置,则使用该参数

此外还可以通过代码设置:

config.setTopologyWorkerMaxHeapSize(512);

设置topology.worker.max.heap.size.mb参数。

通过实测,发现以上参数的设置不生效。

关于storm内存的相关配置可以参考:Resource Aware Scheduler

storm中每个component的默认堆内存为128m,可以在启动Topology时设置参数:topology.component.resources.onheap.memory.mb。

在storm中每个component可以设置堆内存和非堆内存:

 // 如果未指定topology的component,则默认为128m 
topology.component.resources.onheap.memory.mb: 128.0
 // 非堆内存
topology.component.resources.offheap.memory.mb: 0.0

 // 每个组件使用的CPU百分比   
topology.component.cpu.pcore.percent: 10.0

  // 每个worker的最大堆内存
topology.worker.max.heap.size.mb: 768.0

同时也可以通过相关代码设置:

T setMemoryLoad(Number onHeap, Number offHeap); // 设置堆内存和非堆内存

有些静态的数据可以在component之间共享,因此可以设置共享堆内存的大小。

 T addSharedMemory(SharedMemory request);

如果设置component的内存大于了worker的最大堆内存,则topology不能正确提交。

关于上面的内存设置举例:

如果一个worker上运行的总task数为5,即component数为5,topology.component.resources.onheap.memory.mb设置为128,则整个worker的JVM的堆内存为5*128=640m

在实际过程中,如果设置了topology.worker.max.heap.size.mb不管是大于640m还是小于640m,在UI界面和使用jmap -heap查看到的都是640m。

至于仅仅通过设置worker的最大堆内存不生效的原因暂时不清楚,但是如果Topology如果出现堆内存溢出,可以通过设置worker的最大堆内存解决。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/706720.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号