spark on yarn提交任务后总是accepted以及通过yarn关闭application

打开链接:

http://Desktop:8088/proxy/application_1588324196554_0005/

点击图中 Queue后面的default

会看到队列100%

 

解决方案[1]:

检查内存是否没释放

yarn application -list yarn application -kill application_1437456051228_1725

${HADOOP_HOME}/logs下面的东西都清掉

如果想要减少accepted，我的经验是，不要在启动命令中加入一堆参数，例如：

spark-submit --master yarn --deploy-mode cluster xxx.jar

这样进入RUNNING的速度会更快，原因暂时不明。

Reference:

[1]https://www.cnblogs.com/zlslch/p/6683814.html

 

总结

以上是生活随笔为你收集整理的spark on yarn提交任务后总是accepted以及通过yarn关闭application的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。