- 术语解释
- 窄依赖和宽依赖
RDD 之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。
1 .窄依赖:父 RDD 和子 RDD partition 之间的关系是一对一的。或者父 RDD 一个 partition 只 对应一个子 RDD 的 partition 情况下的父 RDD 和子 RDD partition 关系是多对一的。不 会有 shuffle 的产生。
2 .宽依赖:父 RDD 与子 RDD partition 之间的关系是一对多。会有 shuffle 的产生。 宽窄依赖图理解：
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
