Scheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers

今天试着用Spark on YARN集群提交一个任务,读取的文件路径是本地的,结果报了这个错误。

Scheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers 

在网上查阅资料发现是有一些Executor启动失败,询问老师之后才知道

Spark读文件是Task读取的,文件没有发送到集群的每个节点上,有些Executor读文件读不到,所以这些些Executor无法启动成功。


版权声明:本文为WMJ19980327原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。