Spark作业提交流程

1.spark-submit 提交代码，执行 new SparkContext()，在 SparkContext 里构
造 DAGScheduler 和 TaskScheduler。

2.TaskScheduler 会通过后台的一个进程，连接 Master，向 Master 注册 Application。
Master 接收到 Application 请求后，会使用相应的资源调度算法，在 Worker 上为这个
Application 启动多个 Executer。

3.Executor 启动后，会自己反向注册到 TaskScheduler 中。 所有 Executor 都注册到 Driver
上之后，SparkContext 结束初始化，接下来往下执行我们自己的代码。

4.每执行到一个 Action，就会创建一个 Job。Job 会提交给 DAGScheduler。

5.DAGScheduler 会将 Job划分为多个 stage，然后每个 stage 创建一个 TaskSet。

6.TaskScheduler 会把每一个 TaskSet 里的 Task，提交到 Executor 上执行。

7.Executor 上有线程池，每接收到一个 Task，就用 TaskRunner 封装，然后从线程池里取出一
个线程执行这个 task。(TaskRunner 将我们编写的代码，拷贝，反序列化，执行 Task，每个 Task
执行 RDD 里的一个 partition)

总结

以上是生活随笔为你收集整理的Spark作业提交流程的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。