hive2.3.1 + hudi 实践

一、版本

hadoop：2.7.3

hive：2.3.1

hudi：编译release-0.9.0

二、hive安装

hive-site.xml 修改

<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
</property>
<property>
  <name>datanucleus.schema.autoCreateAll</name>
  <value>true</value>
</property>

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://hadoop12:9083</value>
</property>
 

三、hudi编译

修改hudi/pom.xml

1.

<!--<module>hudi-integ-test</module>
<module>packaging/hudi-integ-test-bundle</module>-->

2.

<repository>
  <id>nexus-aliyun</id>
  <name>nexus-aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <releases>
    <enabled>true</enabled>
  </releases>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

D:\workspace_idea\Hudi>mvn install -DskipTests -Drat.skip=true -Pflink-bundle-shade-hive2

四、hive 和 hudi的结合

D:\workspace_idea\Hudi\packaging\hudi-hadoop-mr-bundle\target\hudi-hadoop-mr-bundle-0.9.0.jar

D:\workspace_idea\Hudi\packaging\hudi-hive-sync-bundle\target\hudi-hive-sync-bundle-0.9.0.jar

上传到 hive/lib

hive 的启动脚本

给 hive/bin

chmod -R 777

nohup hive --service metastore >> metastore.log 2>&1 &

nohup hive --service hiveserver2 >> hiveserver2.log 2>&1 &