yarn角色划分

ResourceManager(RM)：主要接收客户端任务请求，接收和监控NodeManager(NM)的资源情况汇报，负责资源的分配与调度，启动和监控ApplicationMaster(AM)。

NodeManager：主要是节点上的资源管理，启动Container运行task计算，上报资源、container情况给RM和任务处理情况给AM。

ApplicationMaster：主要是单个Application(Job)的task管理和调度，向RM进行资源的申请，向NM发出launch Container指令，接收NM的task处理状态信息。

Job调度执行过程

1、client submit一个job到RM，进入RM中的Scheduler队列供调度(容器调度)

2、RM根据NM汇报的资源情况(NM会定时汇报资源和container使用情况)，请求一个合适的NM launch container，以启动运行AM

3、AM启动后，注册到RM上，以使client可以查到AM的信息，便于client直接和AM通信

4、AM启动后，根据Job 相关的split的task情况，会和RM协商申请container资源，首先map任务发起请求，在发起reduce,map任务高于reduce任务应为map任务必须在reduce排序阶段能够启动完成，reduce可以在任意机器上启动，map有数据本地化的局限，mapreduce默认分配1024MB的内存和一个虚拟内核。

5、RM分配给AM container资源后，根据container的信息，向对应的NM 请求launch container，

6、NM启动container运行task，运行过程中向AM汇报进度状态信息，每3秒一次行程任务的汇聚视图，类似于MRv1中 task的汇报；同时NM也会定时的向RM汇报container的使用情况。

7、在application(job)执行过程中，client可以和AM通信，获取application相关的进度和状态信息。

8、在application(job)完成后，AM通知RM clear自己的相关信息，并关闭，释放自己占用的container。

调度器

FIFO

FIFO采用队列方式来处理JOB,这样如果有个大JOB在执行后面的小JOB会等待。

公平

公平调度器是共同使用所有资源，这样如果默认启动了一个JOB，其他JOB需要等待大JOB使用完并且释放出资源才可以进行动态分配。

适合大Job,数据并且不多。

容量

容量调度器就是把资源划分了很多块，每个块内使用FIFO，这样会导致不能动态分配资源。

适合小job，并且执行时间短。

yarn2 vs yarn1

yarn1.jobtracket 只有一个job数量有限,yarn2使用了多个appmastr解决了单个jobtracket

1）yarn.nodemanager.resource.memory-mb

表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

（2）yarn.nodemanager.vmem-pmem-ratio

任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。

（3） yarn.nodemanager.pmem-check-enabled

是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

（4） yarn.nodemanager.vmem-check-enabled

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

（5）yarn.scheduler.minimum-allocation-mb

单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。

（6）yarn.scheduler.maximum-allocation-mb

单个任务可申请的最多物理内存量，默认是8192（MB）。

JVM重用uber模式