spark中的宽依赖,与窄依赖的区别
在一个程序里面产生宽依赖和窄依赖的RDD是分父RDD和子RDD的,其中父RDD和子RDD是相对而言,
相邻两个RDD处理之前是父RDD,处理之后就是子rdd,具体你用的什么算子产生没有产生shuffle就是会出现宽依赖和窄依赖的现象.
宽依赖
多对多,一对多(父RDD的一个或者多个分区,可能被子RDD多个分区所使用,)
窄依赖
一对一,多对一(父RDD的一个或者多个分区,可能只被子rdd的一个分区使用,)
如果这个依赖已经经历过reduce by key他进行第二次reduce by key 的时候只产生一次shuffle
不能产生shuffle的宽依赖算子:map,filter,union,join,flatmap,mappartitions
能产生shuffle的窄依赖算子:reduceBuKey,grupByKey,combineByKey,sortByKey,join(no copartition)
版权声明：本文为weixin_45896475原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。