ls: cannot access /home/spark-2.4.4-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or director

在安装了spark之后,一直正常的hive启动时出现报错:

原因是spark升级到spark2以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。

解决办法:

将  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`

修改为  sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`

 修改后再次进入hive无报错。


版权声明:本文为weixin_41229271原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。