hadoop-MR任务报错:org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing

yarn的运行报错:初始化运行报错

介绍:我的一个MR任务,运行失败,查看运行日志,错误如下:
mapreduce.Job: Job job_1591237623212_1255 failed with state FAILED due to: Application application_1591237623212_1255 failed 2 times due to AM Container for appattempt_1591237623212_1255_000002 exited with exitCode: -1000
不是太懂,在网上查了好多,说是需要配置输入、输出文件输入限制和配置读入的数据块大小,等相关配置
公司的集群,已经运行很长时间了,先关配置都是固定好的。这个任务也是运行好长时间突然出问题。
所以我就去下载了这个任务的yarn 运行日志,里面一个很明显的错误:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing
在这里插入图片描述
说是yarn运行,初始化容器失败
当我仔细往上翻后发现一个WARN:
org.apache.hadoop.ipc.Client: Exception encountered while connecting to the server : java.net.SocketTimeoutException: 60000 millis timeout while waiting

说的是我们的client连接server时,发生超时异常,导致任务的初始化失败!从而直接导致任务MR任务运行FAILED

总结:(对于MR的一些运行FAILED任务)
1,查看web界面,发现任务运行失败FAILED
2,首先查看任务的运行日志,(无明显的显示错误)
3,查看任务在yarn上的日志。
4,再处理相关的错误


版权声明:本文为Himma71原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。