栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Yarn调度配置

Yarn调度配置

一、介绍
  • 类名:容量调度器
  • org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.CapacityScheduler
  • 配置文件:capacity-scheduler.xml
二、配置文件解析

	
	
		yarn.scheduler.capacity.maximum-applications
		10000
	

	
	
		yarn.scheduler.capacity.maximum-am-resource-percent
		0.1
	

	
	
		 yarn.scheduler.capacity.resource-calculator
		 org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator
	

	
	
		yarn.scheduler.capacity.root.queues
		default
	

	
	
		 yarn.scheduler.capacity.root.default.capacity
		 100
	

	
	
		yarn.scheduler.capacity.root.default.user-limit-factor
		1
	

	
	
		yarn.scheduler.capacity.root.default.maximum-capacity
		100
	

三、实例讲解
  1. 添加3个队列,名字为a,b,c,这三个队列必须放在root队列中

    
    	yarn.scheduler.capacity.root.queues
    	a,b,c
    
    
  2. 指定这3个队列占用资源的比例,他们的和必须是100%

    
    	yarn.scheduler.capacity.root.a.capacity
    	40
    
    
    	yarn.scheduler.capacity.root.b.capacity
    	20
    
    
    	yarn.scheduler.capacity.root.c.capacity
    	40
    
    
  3. 定义2个子队列a1和a2,设置他们的资源比例

    
    	yarn.scheduler.capacity.root.a.queues
    	a1,a2
    
    
    	yarn.scheduler.capacity.root.a.a1.capacity
    	40
    
    
    	yarn.scheduler.capacity.root.a.a2.capacity
    	60
    
    
  4. 结果

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/316794.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号