Spark RDD 的 窄依赖和宽依赖(以 wordcount 程序为例)
创建时间:
字数:132
以 wordcount 为例解释窄依赖和宽依赖
窄依赖(Narrow Dependence)
如果一个 RDD 与父 RDD 只有简单的一对一的依赖关系,具体的说,RDD 的每个 partition 仅仅依赖于父 RDD 中的一个 partition, 这种情况下,RDD 之间的关系称为窄依赖
宽依赖(Shuffle Dependence)
如果 RDD 中的每个 partition 有可能来自于父 RDD 的一个或多个 partition,这种操作称为 Shuffle 操作,这种情况下,RDD 之间的关系称为宽依赖
wordcount 解析
文章标题:Spark RDD 的 窄依赖和宽依赖(以 wordcount 程序为例)
文章字数:132
本文作者:Waterandair
发布时间:2018-01-01, 09:24:06
最后更新:2019-12-28, 14:03:59
原始链接:https://waterandair.github.io/2018-01-01-spark-rdd-dependence.html
版权声明: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。
