Spark,使用HIVE表(SQL)语句

(一),在官网上下载hive包:Index of /dist/hive/hive-3.1.2

解压压缩包:tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local

(二)spark配置hive-site.xml文件

进入hive-site.xml文件进行配置

 <property>
    <name>spark.sql.warehouse.dir</name>     
    <value>/user/spark/warehouse</value>
</property>

(三)启动hive

hive --service metastore &

启动spark shell

spark-shell --master spark://master:7077

 导入sparksession

import org.apache.spark.sql.SparkSession

 创建一张hive表:spark.sql("CREATE TABLE IF NOT EXISTS student(id INT, name STRING, gender STRING, age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','")

 

 

 


版权声明:本文为qq_58166534原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。