栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Yarn的三种调度器之间的区别

Yarn的三种调度器之间的区别

  1. FIFO

先进先出,把应用按提交顺序排成一个先进先出队列,在进行资源分配的时候,先给队列中第一个应用进行资源分配,当它需求满足后,再给下一个分配;

可以在yarn-site.xml文件中设置

适用于独享集群,不适用于共享集群,大的应用会导致其他应用被阻塞,大任务提交之后会占用所有资源,后续提交的任务则无资源可用

2.Capacity(默认)

允许创建多队列,每个队列内部,资源的调度是采用FIFO策略,各个队列上提交的job可以同时运行,如果某个队列的资源无法满足本队列job需求,可以抢占其他队列资源(弹性队列),为避免其他队列无资源可用,可以通过设置该队列最大资源量限制抢占;会有一个专门的队列来运行小任务,会预先占用一定的集群资源

先在yarn-site.xml中配置,然后在etc/hadoop/capacity-scheduler.xml中进行多队列的配置

缺点:刚开始来的大任务跑的比FIFO慢

3.公平调度器

不需要预先占用资源,Fair调度器会为了所有运行的job动态调整系统资源,当第一个大job提交时,只有这一个job在运行,此时它获得了所有集群资源,当第二个小任务提交后,调度器会分配一半资源给这个小任务,让这两个任务公平的共享集群资源

  • 开发中一般不用这个调度器,因为分配资源给其他任务时会比较慢,其他任务需要等待上个任务释放资源
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/487563.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号