栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

## YARN运行资源配置

## YARN运行资源配置

YARN运行资源配置

描述:
此文档是针对提交到yarn上执行任务时,资源不足导致任务运行时间久、任务失败、nodemanager进程挂掉等问题,从而得出的解决上述问题的办法。

————————————————————————————————

1、ApplicationMaster 内存
提交任务到yarn上时,为ApplicationMaster分配的内存量,一般不需要太大,1G-4G即可
在yarn-site.xml中配置
参数名 : yarn.app.mapreduce.am.resource.mb
值:1024mb

2、容器内存
每台nodemanager节点提供给yarn进行调度管理的内存大小,就是分配多少资源去让yarn进行管理
这个需要根据每台服务器的内存来确定,拿 三台服务器每台8核16G内存举例,每台机器可以给yarn分配16G内存,但不建议全给,一般配置10G-14G即可
参数名:yarn.nodemanager.resource.memory-mb
值: 12G

3、容器虚拟 CPU 内核
每台nodemanager节点提供给yarn进行调度管理的CPU核数大小,就是分配多少CPU去让yarn进行管理
这个需要根据每台服务器的内存来确定,拿 三台服务器每台8核16G内存举例,每台机器可以给yarn分配8核,但不建议全给,一般配置4-6核即可。但有时候在运行yarn任务时会出现计算很慢问题。注意这里是虚拟内核,因为yarn不会去检测服务器的内核数量,所以针对这种情况,就可以将数量增加1到2倍来提高运算效率。比如配置为32
参数名:yarn.nodemanager.resource.cpu-vcores
值: 32


4、最小容器内存
就是分配给每个Container(容器)的最小执行内存。每创建一个容器就默认占用这么多内存资源,默认512MB即可
参数名:yarn.scheduler.minimum-allocation-mb
值: 512mb

5、容器内存增量
当创建一个容器后,默认创建的容器资源无法支持任务去运行,就需要增加内存资源,就需要配置每次增加内存资源的大小。配置512MB即可,但如果在yarn上提交的每个任务所涉及的数据或计算都很多,则可以相应调整为1G,2G等
参数名:yarn.scheduler.increment-allocation-mb
值:512mb

6、最大容器内存
就是一个容器所最大支持的内存容量,如果某个任务涉及的数据非常的大,若配置的最大容器内存过小,则会导致任务失败。
一般配置为 <=容器虚拟 CPU 内核,但不能超过容器内存yarn.nodemanager.resource.memory-mb
参数名:yarn.scheduler.maximum-allocation-mb
值:10G


7、最小容器虚拟 CPU 内核数量
与最小内存同理,一个容器涉及的最小计算量的cpu数
参数名:yarn.scheduler.minimum-allocation-vcores
值: 1

8、容器虚拟 CPU 内核增量
与容器内存增量同理,一个容器每次增加的cpu数
参数名:yarn.scheduler.increment-allocation-vcores
值 :1

9、最大容器虚拟 CPU 内核数量
与容器最大内存同理,一个容器容纳的最大CPU数,代表它最大的计算能力,同样不能超过之前配置的容器虚拟 CPU 内核, yarn.nodemanager.resource.cpu-vcores
参数名:yarn.scheduler.maximum-allocation-vcores
值:32

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707873.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号