Hadoop 配置多队列的公平调度器

• Hadoop 配置多队列的公平调度器
• • 1 需求
  • 2 配置
  • • 2.1 修改yarn-site.xml，加入以下参数
    • 2.1 配置fair-scheduler.xml
  • 3 分发配置并重启 Yarn
  • 4 测试

版本： hadoop-3.1.3

1. 配置三个队列，default，develop，test
2. 提交任务无指定队列，默认提交到用户名相同的队列，无该队列则拒绝

 yarn.resourcemanager.scheduler.class
 org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
 配置使用公平调度器



 yarn.scheduler.fair.allocation.file
 /opt/module/hadoop-3.1.3/etc/hadoop/fair-scheduler.xml
 指明公平调度器队列分配配置文件



 yarn.scheduler.fair.preemption
 false
 禁止队列间资源抢占

/opt/module/hadoop-3.1.3/etc/hadoop/ 目录下创建fair-scheduler.xml文件

 
 0.5
 
 4096mb,4vcores
 
 
 
 2048mb,2vcores
 
 4096mb,4vcores
 
 4
 
 0.5
 
 1.0
 
 fair
 
 
 
 
 2048mb,2vcores
 
 4096mb,4vcores
 
 4
 
 0.5
 
 1.0
 
 fair
 
 
 
 
 
 
 
 
 
 
 
 

[develop@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[develop@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

1. 提交root.test队列

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -Dmapreduce.job.queuename=root.test 1 1

2. develop不指定队列提交

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 1 1

3. 同时执行