yarn模式运行spark

yarn上启动spark有二种模式:yarn-client模式 和 yarn-cluster模式
yarn-cluster模式:框架在集群中启动Driver程序
yarn-client模式:框架在client中启动Driver程序
master 参数可以简单配置成yarn-client 或者 yarn-cluster
./bin/spark-submit --class 类名 --master yarn-cluster [options] 要运行的Jar包  参数等
如果运行时需要添加别的jar包依赖要用--jars来声明,加入的文件用,号隔开

版权声明:本文为xqShi原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。