161、Spark内核原理进阶之repartition算子内部实现原理

看图

 

13274599-6e82cb768c9b53de.png

repartition.png

repartition算子，repartition算子=coalesce(true)

  1. map，附加了前缀，根据要重分区成几个分区，计算出前缀
  2. shuffle->colesceRDD
  3. 去掉前缀，得到最终重分区好的RDD
版权声明：本文为ZJ__ZFH原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。