hive架构详解

简介

hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

总结

  • Hive是一个数据仓库(数据库)

  • Hive构建在HDFS上，可以存储海量数据。

  • Hive允许程序员使用SQL命令来完成数据的分布式计算，计算构建在yarn之上。(Hive会将SQL转化为MR操作)

优点：

简化程序员的开发难度，写SQL即可，避免了去写mapreduce,减少开发人员的学习成本

缺点：

延迟较高(MapReduce本身延迟，Hive SQL向MapReduce转化优化提交)，适合做大数据的离线处理(TB PB级别的数据，统计结果延迟1天产出)

Hive不适合场景：

1：小数据量, MySQL。

2：实时计算：Spark HBase

  • 数据库 DataBase

    • 数据量级小，数据价值高

  • 数据仓库 DataWareHouse

    • 数据体量大，数据价值低

  •     

    Hive 的架构

    1. 简介

    HDFS：用来存储hive仓库的数据文件
yarn：用来完成hive的HQL转化的MR程序的执行
MetaStore：保存管理hive维护的元数据
Hive：用来通过HQL的执行，转化为MapReduce程序的执行，从而对HDFS集群中的数据文件进行统计。

    2. 图

     

    Hive的安装

    # 步骤
1. HDFS(Hadoop2.9.2)
2. Yarn(Hadoop2.9.2)
3. MySQL(5.6)
4. Hive(1.2.1)

    虚拟机内存设置为1G

    1. 安装mysql数据库

    参考MySQL安装文档

    2. 安装Hadoop

    # 配置hdfs和yarn的配置信息
[root@hive40 ~]# jps
1651 NameNode
2356 NodeManager
2533 Jps
1815 DataNode
2027 SecondaryNameNode
2237 ResourceManager

    3. 安装hive

    1 上传hive安装包到linux中

    2 解压缩hive

    [root@hadoop ~]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/installs
[root@hadoop ~]# mv apache-hive-1.2.1-bin hive1.2.1

    3 配置环境变量

    export HIVE_HOME=/opt/installs/hive1.2.1
export PATH=$PATH:$HIVE_HOME/bin

    4 加载系统配置生效

    [root@hadoop ~]# source /etc/profile

    5 配置hive

    hive-env.sh

    拷贝一个hive-env.sh:[root@hadoop10 conf]# cp hive-env.sh.template hive-env.sh

    # 配置hadoop目录
HADOOP_HOME=/opt/installs/hadoop2.9.2/
# 指定hive的配置文件目录
export HIVE_CONF_DIR=/opt/installs/hive1.2.1/conf/

    hive-site.xml

    拷贝得到hive-site.xml：[root@hadoop10 conf]# cp hive-default.xml.template hive-site.xml

    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--hive的元数据保存在mysql中，需要连接mysql，这里配置访问mysql的信息-->
    <!--url：这里必须用ip-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.199.40:3306/hive</value>
    </property>
    <!--drivername-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!--username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!--password-->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>admins</value>
    </property>
</configuration>

    登录mysql创建hive数据库(使用命令行创建)

    create database hive

    复制mysql驱动jar到hive的lib目录中

    4 启动

    1. 启动 hadoop

    启动hadoop

    # 启动HDFS
start-dfs.sh
# 启动yarn
start-yarn.sh

     

     

  • 2. 本地启动hive

    • 初始化元数据：schematool -dbType mysql -initSchema

      初始化mysql的hivedatabase中的信息。

      3. 启动Hive的两种方式

      # 本地模式启动
    # 启动hive服务器，同时进入hive的客户端。只能通过本地方式访问。
[root@hadoop10 ~]# hive
      # 服务器模式启动
    # 之启动hive的服务器，可以允许远程连接方式访问。
# 前台启动
hiveserver2
# 后台启动
hiveserver2 &

      启动本地hive并进入客户端模式(管理员模式)

      [root@hadoop40 installs]# hive
Logging initialized using configuration in jar:file:/opt/installs/hive1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive>

      # 1. 客户端操作之dfs命令

      1. 查看dfs中的文件。
    dfs -ls /;
2. 查看dfs中 /user 下的文件
    dfs -ls /user;
3. 以递归的方式，查看/user下的所有文件
    dfs -lsr /user;

      # 2.客户端操作之HQL(Hive Query language)

      # 1.查看数据库
    hive> show databases;
# 2. 创建一个数据库
    hive> create database baizhi;
# 3. 查看database 
    hive> show databases;
# 4. 切换进入数据库
    hive> use baizhi;
# 5.查看所有表
    hive> show tables;
# 6.创建一个表
    hive> create table t_user(id string,name string,age int);
# 7. 添加一条数据(转化为MR执行--不让用，仅供测试)
    hive> insert into t_user values('1001','yangdd');
# 8.查看表结构
    hive> desc t_user;
# 9.查看表的schema描述信息。(表元数据，描述信息)
    hive> show create table t_user;
    # 明确看到，该表的数据存放在hdfs中。
# 10 .查看数据库结构
    hive> desc database baizhi;
# 11.查看当前库`
    hive> select current_database();
# 12 其他sql
select * from t_user;
select count(*) from t_user; (Hive会启动MapReduce)
select * from t_user order by id;

      3.hive的客户端和服务端

      # 启动hive服务端
// 前台启动
[root@hadoop40 ~]# hiveserver2 
// 后台启动
[root@hadoop40 ~]# hiveserver2 &

      beeline客户端

      # 启动客户端
[root@hadoop40 ~]# beeline
beeline> !connect jdbc:hive2://hadoop40:10000
回车输入mysql用户名
回车输入mysql密码

      JDBC

      # 导入依赖
      <dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>1.2.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.9.2</version>
</dependency>
      # JDBC操作Hive
      public static void main(String[] args) throws Exception {
    BasicConfigurator.configure();//开启日志
    //加载hive驱动
    Class.forName("org.apache.hive.jdbc.HiveDriver");
    //连接hive数据库
    Connection conn = DriverManager.getConnection("jdbc:hive2://192.168.199.40:10000/baizhi","root","admins");
    String sql = "select * from t_user1";
    PreparedStatement pstm = conn.prepareStatement(sql);
    ResultSet rs = pstm.executeQuery();
    while(rs.next()){
        String id = rs.getString("id");
        String name = rs.getString("name");
        int age = rs.getInt("age");
        System.out.println(id+":"+name+":"+age);
    }
    rs.close();
    pstm.close();
    conn.close();
}

      4. 数据类型

      数据类型（primitive，array，map，struct )

  • primitive(原始类型)：

    hive数据类型字节备注
    TINYINT1java-byte 整型
    SMALLINT2java-short 整型
    INT4java-int 整型
    BIGINT8java-long 整型
    BOOLEAN 布尔
    FLOAT4浮点型
    DOUBLE8浮点型
    STRING 字符串 无限制
    VARCHAR 字符串 varchar(20) 最长20
    CHAR 字符串 char(20) 定长20
    BINARY 二进制类型
    TIMESTAMP 时间戳类型
    DATE 日期类型

  • array（数组类型）：

    # 建表
create table t_tab(
    score array<float>，
    字段名 array<泛型>
);

  • map（key-value类型）：MAP <primitive_type, data_type>

    # 建表
create table t_tab(
    score map<string,float>
);

  • struct（结构体类型）：STRUCT <col_name:data_type, ...>

    # 建表
create table t_tab(
    info struct<name:string,age:int,sex:char(1)>，
    列名 struct<属性名:类型,属性名:类型>
);，

  • 根据以上类型构建一个表结构

    create table t_person(
 id int ,
 name string,
 salary double,
 birthDay date,
 sex char(1),
 hobbies array<string>,
 cards map<string,string>,
 addr struct<zipCode:string,city:string>
);

    注意 hive在建表时没有约束条件

    # 1.查看上述表结构
    desc t_person;
    # 2.查看表结构的详细信息
    show create table t_person;
    # 3.查看表结构的更加详细信息
    desc formatted t_perso
版权声明：本文为weixin_45721467原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。