栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark在yarn环境下的运行流程与架构

spark在yarn环境下的运行流程与架构

client与cluster模式的区别:driver功能模块的运行位置,client模式下driver运行在client中,cluster模式下,driver运行在cluster集群中的随机的符合条件的一个nodemanager上

1 client向RM申请启动AM,

2 RM会在集群中随机选择一个符合条件的NM,在该NM上为该应用分配第一个Container,并在Container中启动AM(client模式下driver模块在客户端,cluster模式下driver在AM中)

3 AM启动后向RM注册,并向RM请求资源(比如 excutor),

4 RM将集群中符合条件有足够资源空闲的NM信息赶回给AM

5 AM通过RM返回的NM信息与对应的NM通信,请求NM创建excutor,Excutor创建后会注册到driver中,之后driver将task发送到excutor,excutor返回task执行信息给driver

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/326818.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号