今天试着用Spark on YARN集群提交一个任务,读取的文件路径是本地的,结果报了这个错误。
Scheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers 在网上查阅资料发现是有一些Executor启动失败,询问老师之后才知道
Spark读文件是Task读取的,文件没有发送到集群的每个节点上,有些Executor读文件读不到,所以这些些Executor无法启动成功。
版权声明:本文为WMJ19980327原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。