栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark执行原理

spark执行原理

spark执行原理 1.执行流程

第一阶段:RDD+算子组成的有向无环图
第二阶段:DAGScheduler根据宽窄依赖将图划分成不同阶段的任务,并打包成TaskSet
第三阶段:由TaskScheduler遍历TaskSet 将TaskSet中的每个任务发送至worker执行
第四阶段:Worker线程池执中线程行任务

执行速度由 rdd中分区数量、stage的个数、和woker中核的数目决定

重试机制
若task发送失败,TaskScheduler会重试发送3次,3次依然失败,由DAGScheduler重新提交任务,若4次提交任务失败,则整个Application失败。

2.资源申请


bilibili

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/345438.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号