spark sql 查询表时报错:。。。 not a file

现象:

spark sql 查询表时报错:。。。 not a file

解决:

  1. 如果是在终端启动 spark shell,那么就执行 
    spark-sql --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true --conf spark.hive.mapred.supports.subdirectories=true
  2. 如果是代码,那么就设置下边两个参数
      .set("spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive", "true")
      .set("spark.hive.mapred.supports.subdirectories", "true")

版权声明:本文为Lbg_007原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。