Hive架构原理

1:Hive的概念

Hive是基于Hadoop的一个数据仓库工具。

可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储支持。

Hive可以理解为一个将SQL转换为MapReduce任务的工具,甚至更进一步可以说hive就是一个MapReduce的客户端。

 

2:Hive与数据库的区别

Hive 具有 SQL 数据库的外表,但应用场景完全不同

Hive 只适合用来做海量离线数据统计分析,也就是数据仓库。

3 Hive的优缺点

1:优点

①操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。

②避免了去写MapReduce,减少开发人员的学习成本。

③Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。

2:缺点

①Hive 的查询延迟很严重

②hadoop jar xxxx.jar xxx.class /input /output

进行任务的划分,然后进行计算资源的申请

map 0% reduce 0%

map 10% reduce 0%

③Hive 不支持事务

4Hive架构原理

 

1用户接口

Client CLI(hive shell)

JDBC/ODBC(java访问hive)

WEBUI(浏览器访问hive)

2元数据:Metastore

元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等

默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore

3Hadoop集群

使用HDFS进行存储,使用MapReduce进行计算。

4Driver:驱动器

解析器(SQL Parser)

将SQL字符串转换成抽象语法树AST

对AST进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误

编译器(Physical Plan):将AST编译生成逻辑执行计划。

优化器(Query Optimizer):对逻辑执行计划进行优化。

执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于Hive来说默认就是mapreduce任务。


版权声明:本文为chongfa2008原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。