Hadoop集群搭建hive3.1.2(亲测有效）

部署集群相关的包
https://pan.baidu.com/s/1uy5tM1lZ6owB3hw9jc7yug
提取码：w47b

1 相关包的准备

将hvie压缩包，mysql安装包及mysql驱动上传到虚拟机的/opt/software/目录下

2 查看本地是否有mysql

使用如下命令查看系统是否安装过mysql

rpm -qa|grep mariadb

如下图所示，表示该系统安装过mysql

如果像上图一样存在，使用如下命令卸载该mysql

sudo rpm -e --nodeps mariadb-libs

再次查看是否已经卸载

rpm -qa|grep mariadb

3 安装mysql

在/opt/module目录下新建一个mysql，并将mysql安装包解压到该目录下

tar -xf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql/

3.1 安装mysql

在mysql目录下按照如下顺序使用如下命令安装mysql

rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.29-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm  
rpm -ivh mysql-community-client-5.7.29-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.29-1.el7.x86_64.rpm

查看/etc/my.cnf下的mysql的数据目录，如下图所示

cat /etc/my.cnf

进入该目录下，查看是否有内容，如果有，使用如下命令删除内容.
进入目录

cd /var/lib/mysql

如果有内容，删除该内容，不过一般都没有

rm -rf ./*

3.2 初始化数据库

使用如下命令初始化数据库

mysqld --initialize --user=mysql

进入/var/log/mysqld.log目录下查看临时生成的mysql的root用户的密码

cat /var/log/mysqld.log

3.3 启动mysql服务

systemctl start mysqld

3.4 登录mysql

使用如下命令登录mysql

mysql -uroot -p

成功进入mysql后如下图

3.5 修改root用户密码

set password = password("新密码,这里修改为自己想要设置的密码");

3.6 更新root用户权限

修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接

update mysql.user set host='%' where user='root';

刷新一下

 flush privileges;

退出mysql

quit;

4 搭建hive

4.1 解压hive压缩包

将hive压缩包解压到/opt/moudle/目录下并重新命名为hive

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/
mv apache-hive-3.1.2-bin/ hive

4.2 配置环境变量

进入/etc/profile.d/下，在my_env.sh内配置hive的环境变量

cd /etc/profile.d/
vim my_env.sh

环境变量如下

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

使用source /etc/profile使其生效

source /etc/profile

使用cd 命令进入用户家目录，并使用cd $HIVE_HOME判断hive环境变量是否配置成功

cd 
cd $HIVE_HOME

如果能成功的进入hive目录，则环境变量配置成功
如下图所示

4.3 拷贝驱动

将/opt/software目录下的mysql的驱动拷贝到hive的lib目录下

cp /opt/software/mysql-connector-java-5.1.32.jar $HIVE_HOME/lib

进入hive的lib目录内，查看是否拷贝成功

4.4 配置 Metastore 到 MySQL

在hive的conf目录下新建hive-site.xml

vim $HIVE_HOME/conf/hive-site.xml

在hive-site.xml内添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- jdbc 连接的 URL -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://master:3306/metastore?useSSL=false</value>
	</property>
	<!-- jdbc 连接的 Driver-->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<!-- jdbc 连接的 username-->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<!-- jdbc 连接的 password -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>000000</value>
	</property>
	<!-- Hive 元数据存储版本的验证 -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
	<!--元数据存储授权-->
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
	<!-- Hive 默认在 HDFS 的工作目录 -->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
	</property>
	<!-- 显示数据表表头 -->
	<property>
		<name>hive.cli.print.header</name>
		<value>true</value>
	</property>
	<!-- 显示当前使用的数据库 >
	<property>
		<name>hive.cli.print.current.db</name>
		<value>true</value>
	</property>
</configuration>

4.5 创建元数据库

进入mysql数据库创建元数据库

mysql -uroot -p
create database metastore;
quit;

4.6 初始化元数据库

使用如下命令初始化元数据库

schematool -initSchema -dbType mysql -verbose

在初始化时，报了如下的错

这是因为hadoop内的share/hadoop/common/lib下的guava-27.0-jre.jar和hive的lib下的guava-27.0-jre.jar版本不一致造成的，这是将版本高的拷贝到版本低的里面，并将版本低的删除

cp $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar $HIVE_HOME/lib
rm -rf rm -rf guava-19.0.jar

再次进行初始化，初始化成功

4.7 启动hive

使用如下命令启动hive

cd $HIVE_HOME
bin/hive

如下图所示，表示hive正式启动，并能执行相关的HQL语句

到此，hive正式配置成功