【HADOOP】java.lang.Exception: org.apache.hadoop.fs.ChecksumException: Checksum error错误

问题描述

再一次本地测试mapreduce任务的时候,用到了一些导出的文件,但是这些文件很大我就直接做了删减,导致在使用时爆出java.lang.Exception: org.apache.hadoop.fs.ChecksumException: Checksum error错误
在这里插入图片描述

问题原因

因为我修改了文件内容,导致CRC校验文件校验失败。hadoop在使用文件的时候如果文件夹内有CRC文件,就会做校验的。
在这里插入图片描述

解决办法

删掉CRC文件就可以了,如果你的文件没有改动,校验就会成功,也不会报出来这个错误的。


版权声明:本文为sdut406原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。