大数据计算篇

第4章 YARN

学习目标

本章带领读者一起学习YARN,它是Hadoop分布式集群中负责资源管理和调度的重要模块。为保证内容的权威性,本章主要以官方提供的资料为基础,再结合实践理解进行讲述,从YARN的概述、主要组成模块、调度器、RM高可用、节点标签等方面对YARN展开详细的说明。讲述一个Application工作提交后,YARN的工作原理和数据流程。在本章的最后,将给出编写YARN应用程序的实践案例。

通过本章的学习,读者应能够掌握YARN如何对资源进行管理和调度,能够掌握它的基本配置项,以及开启、关闭相关的功能。

本章要点

■YARN概述及主要组成

■容量、公平调度器

■RM重启、高可用

■节点标签

■YARN服务注册

■YARN应用编程