Error: org.apache.spark.sql.AnalysisException: java.lang.IllegalArgumentExceptio n: Wrong FS: hdfs://slave1:8020/user/hadoop-jrq/文件名, expected: hdfs://mycluster; (state=,code=0)
根据提示将hdfs://slave1:8020改为hdfs://mycluster即可,这是因为配置了高可用的原因
Error: java.lang.OutOfMemoryError: GC overhead limit exceeded (state=,code=0)
这个是因为执行了:select * from 表名;
简单点说就是你的表数据量太大,内存不够了,不能这么玩,用一个limit来看
背景:抽取Oracle中的数据到hive中
坑点:hive中的时间与Oracle的时间相差12小时
猜测:时区问题
问题查看:系统时区不是上海时区
解决:将系统时区改成上海时区:ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
重启hive的metastore,查看数据,问题解决
版权声明：本文为weixin_42411818原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。