Yarn工作机制和HDFS、Yarn、MapReduce之间的关系

文章目录

1、Yarn基础架构

​ YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。各组件功能如下所示：

在这里插入图片描述

2、Yarn工作机制

在这里插入图片描述

2.1 作业提交全过程详解

(1)作业提交

  1. Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
  2. Client向RM申请一个作业id(Application)。
  3. RM给Client返回该job资源的提交路径和作业id。
  4. Client提交jar包、切片信息和配置文件到指定的资源提交路径。
  5. Client提交完资源后，向RM申请运行MrAppMaster。

(2)作业初始化

  1. 当RM收到Client的请求后，将该job添加到容量调度器中。
  2. 某一个空闲的NM领取到该Job。
  3. 该NM创建Container，并产生MRAppmaster。
  4. 下载Client提交的资源到本地。

(3)任务分配

  1. MrAppMaster向RM申请运行多个MapTask任务资源。
  2. RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。

(4)任务运行

  1. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
  2. MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
  3. ReduceTask向MapTask获取相应分区的数据。
  4. 程序运行完毕后，MR会向RM申请注销自己。

2.2 作业提交过程中HDFS和MapReduce

详细流程讲解：https://blog.csdn.net/qq_36593748/article/details/121978599?spm=1001.2014.3001.5501
在这里插入图片描述

3、HDFS、Yarn、MapReduce三者之间的关系

在这里插入图片描述

版权声明：本文为qq_36593748原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。