spark on yarn的提交过程

spark on yarn集群的提交过程

  1. 当程序提交时会启动sparkSubmit进程，里面会有解析参数对象(sparkSubmitArguments)和连接yarn的对象（yarnClusterApplication、yarnClient），连接yarn的对象连接resourceManager，请求启动ApplicationMaster
  2. resourceManager启动ApplicationMaster
  3. ApplicationMaster启动driver并且初始化sparkContext
  4. ApplicationMaster反向注册resourceManager请求资源
  5. resourceManager返回可用的资源列表
  6. ApplicationMaster启动Executor执行后台 yarnCoarseGrainedExecutorBackend（用于和yarn进行通信，启动Executor）
  7. yarnCoarseGrainedExecutorBackend向Driver反向注册
  8. Driver返回注册成功
  9. yarnCoarseGrainedExecutorBackend启动Executor

如下图：
在这里插入图片描述

版权声明：本文为ShiHao_Li原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。