- Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
- 王家林
- 191字
- 2021-03-30 21:55:52
4.6 本章总结
本章内容紧紧围绕Spark调度器(Scheduler)的运行机制,介绍了其中涉及的重要概念,如Spark Driver Program、Spark Job、高层调度器(DAGScheduler)、底层调度器(TaskScheduler)和调度器的通信终端(SchedulerBackend)。同时,从外围的运行框架,到内部的调度器和通信终端,分别深度剖析了各自的运行原理。并且,每个原理都结合了Spark源码的解析,加深对整个Spark调度器运行机制的理解。
SparkContext、DAGScheduler、TaskScheduler、SchedulerBackend在应用程序启动时只实例化一次,应用程序存在期间始终存在这些对象。