SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:
进入createTaskScheduler方法:
我们看一下其Standalone的方式:
在上述代码中首先实例化一个TaskSchedulerImpl:
然后构建出了masterUrls:
接着创建出关键的backend:
进入SparkDeploySchedulerBackend实现:
从以上截图可以看出来,SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend
此处使用了Akka技术进行不同机器之间的通信,CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表,所以我们的backend实例就是用来提交任务给Executor的:
其实CoarseGrainedExecutorBackend是Executor的代理人,能够完成很多任务,例如启动一个任务:LaunchTask
回到SparkContext的Standalone的方式的代码处:
接着代码是把backend传给了TaskSchedulerImpl的initialize方法中:
在上述代码中显示处理调度模式 例如FIFO和Fair的模式。
在代码块的最后返回实例化后的backend, scheduler:
PS:妈蛋的 公司破网,spark源码没下载成功,只能在github上面看了,蛋疼
时间: 2024-10-12 16:36:06