欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

kill不掉 spark-submit

发布时间:2023/12/31 编程问答 47 豆豆
生活随笔 收集整理的这篇文章主要介绍了 kill不掉 spark-submit 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

kill -9以及pkill命令都不行,

目前能想到的就是注销后再登录

 

为了让spark-submit在提交任务后自己退出,在$SPARK_HOME/conf/spark-defaults.conf中加入:

spark.yarn.submit.waitAppCompletion = false

这个命令我测试了下,感觉能减少,但是不能完全消除spark-submit的产生。

 

总结

以上是生活随笔为你收集整理的kill不掉 spark-submit的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。