spark 问题

spark on yarn 问题

spark通过yarn提交任务，任务没跑就停止了，8088页面显示成功，点击history显示

Shutdown hook called before final status was reported.

查看了很久才发现，数据对接的数据格式改变了，我程序中有

if(StringUtils.isBlank(difference)){
      System.exit(-1)
    }else{
      TimedTaskForBJJ.run(sqlContext,array)
      SaveToMongo.saveMongo(sqlContext,Array("saveToMongoOnline",transferPath,mongoHost,database,mode))
}

程序中执行System.exit(-1) spark程序会正常停止，而且页面显示成功。