Hadoop报错 cannot access scala.Serializable 及 python MapReduce运行报错

记录一下在做校内Hadoop作业的时候遇到的问题. 作业比较基础, 就是通过Makefile 调用hadoop执行提前写好的 MapReduce程序.

报错1

Hadoop wordCount代码运行中出现了

java: cannot access scala.Serializable class file for scala.Serializable not found

的报错.

解决方案:
通过stackoverflow上的这篇问答, 我猜测可能是scala版本跟hadoop的版本不兼容 所以回滚到2.7 就解决问题了

报错2

企图在hadoop上运行python. 但是报错, 报错信息不详细:
在这里插入图片描述
在这里插入图片描述
解决方案:
在源码的开头加上:

#!/usr/bin/env python
# -*-coding:utf-8 -*

(编码格式的问题真的是, 不知道怎么能debug得出来)


版权声明:本文为weixin_41225956原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。