Hadoop--02---HDFS、YARN、MapReduce 概述

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


HDFS、YARN、MapReduce 概述

在这里插入图片描述

https://hadoop.apache.org/

在这里插入图片描述

1.HDFS架构概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.YARN 架构概述

Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop 的资源管理器

在这里插入图片描述

3.MapReduce 架构概述

MapReduce是一个 分布式计算的编程框架

MapReduce 将计算过程分为两个阶段:Map 和Reduce

1)Map 阶段并行处理输入数据

2)Reduce 阶段对Map 结果进行汇总

在这里插入图片描述

4.HDFS、YARN、MapReduce 三者关系

在这里插入图片描述

大数据技术生态体系

在这里插入图片描述

图中涉及的技术名词解释如下:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

推荐系统框架图

在这里插入图片描述


版权声明:本文为weixin_48052161原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。