首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

Yarn根本组成结构

2014-05-12 
Yarn基本组成结构Yarn基本组成结构一、ResourceManager:是一个全局的资源管理器,负责整个系统的资源管理和

Yarn基本组成结构
Yarn基本组成结构

一、ResourceManager:
是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(ApplicationMaster)
1)调度器(Scheduler):将系统中的资源分配给各个正在运行的应用程序;
应用程序管理器(ApplicationMaster):负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源,以及启动ApplicationMaster、监控2)ApplicationMaster运行状态,并在失败时重新启动等;

二、ApplicationMaster:
用户提交的每个应用程序,均包含一个ApplicationMaster,主要功能包括:
1)与ResourceManager调度器协商以获取资源(以Container表示);
2)将得到的任务进一步分配给内部的任务;
3)与NodeManager通信以启动停止任务;
4)监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务;

三、NodeManager:
是每个节点上的资源和任务管理器。
1)它会定时向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态;
2)它接收并处理来自ApplicationMaster的Container启动/停止等各种请求;

四、Container:
是Yarn中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。它不同于MRv1中的slot,它是一个动态资源划分单位,是根据应用程序的需求动态生成的。

热点排行