Spark读Hive分区表报错:Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist

前言

之前删除Hive分区表的时候,直接用hadoop fs -rm -r 命令删除了hdfs上的分区目录,然后用spark读取hive的这个表的时候,就报错了:

Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://nameservice1/data/source/ads/ads_table_test/statis_month=201908/day=11

但是用Hive读取的时候就是正常的

原因分析

删除Hive分区目录如果直接用hadoop fs -rm -r 删除那么,分区目录的确是不存在了,但是表的结构信息依然存在,用spark读取的时候会先找到表的元数据信息,一看有这个分区,然后就去加载,可到hdfs读取该目录的时候,却发现根本不存在,所以就报错。

解决方法

删除分区目录时,同时执行:

alter table test drop partition (p='xxx')

把对应的分区也删除掉就可以了。
如果已经删除了分区目录,也需要执行上以上的命令。

参考


版权声明:本文为Android_xue原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。