YARN调度器和调度算法

| 标签 Hadoop  YARN 

Yarn调度器和调度算法

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

CDH框架默认调度器是Fair Scheduler。

具体设置详见：yarn-default.xml文件

<property>
		<description>The class to use as the resource scheduler.</description>
 		<name>yarn.resourcemanager.scheduler.class</name>
  	<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

1.先进先出调度器（FIFO）

FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务

image

优点：简单易懂；

缺点：不支持多队列，生产环境很少使用；

2.容量调度器（Capacity Scheduler）

Capacity Scheduler是Yahoo开发的多用户调度器。

容量调度器特点

image

1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。

2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。

3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一但该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。

4、多租户

​ 支持多用户共享集群和多应用程序同时运行。

​ 为了防止同一用户的作业独占队列的中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

容量调度器资源分配算法

image

1、队列资源分配：

从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。

2、作业资源分配：

默认按照提交作业的优先级和提交时间顺序分配资源。

3、容量资源分配：

按照容器的优先级分配资源；

如果优先级相同，按照数据本地性原则：

（1）任务和数据在同一节点

（2）任务和数据在同一机架

（3）任务和数据不在同一节点也不在同一机架

3.公平调度器（Fair Scheduler）

Fair Schedulere是Facebook开发的多用户调度器。

公平调度器特点

image

1、与容量调度器相同点

（1）多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。

（2）容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。

（3）灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一但该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。

（4）多租户

​ 支持多用户共享集群和多应用程序同时运行。

​ 为了防止同一用户的作业独占队列的中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

2、与容量调度器不同点

（1）核心调度策略不同

​ 容量调度器：优先选择资源利用率低的队列

​ 公平调度器：优先选择对资源的缺额比例大的

（2）每个队列可以单独设置资源分配方式

​ 容量调度器：FIFO、DRF

​ 公平调度器：FIFO、FAIR、DRF

公平调度器——缺额

image

  • 公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫缺额
  • 调度器会优先为缺额大的作业分配资源

公平调度器队列资源分配方式

1、FIFO策略

公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。

2、Fair策略

Fair策略（默认）是一种基于最大最小公平算法的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。

具体资源分配流程和容量调度器一致；

（1）选择队列

（2）选择作业

（3）选择容器

以上三步，每一步都是按照公平策略分配资源

  • 实际最小资源份额：mindshare = Min（资源需求量 [4]，配置的最小资源 [2] ）
  • 是否饥饿：isNeedy = 资源使用量 [1] < mindshare（实际最小资源份额 [2] ）
  • 资源分配比：minShareRatio = 资源使用量 [1]/ Max（mindshare, 1）[2]
  • 资源使用权重比：useToWeightRatio = 资源使用量 / 权重

image

3、DRF策略

DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。

那么在YARN中，我们用DRF来决定如何调度： 假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。

公平调度器资源分配算法

1、队列资源分配

需求：集群总资源100，有三个队列，对资源的需求量分别是：

queueA–>20

queueB–>50

queueC–>30

image

第一次算：100/3=33.33

queueA: 分33.33 –>多13.33

queueB: 分33.33 –>少16.67

queueC: 分33.33 –>多3.33

第二次算：(13.33+3.33) /1 = 16.66

queueA：分20

queueB：分33.33+16.66 = 50

queueC：分30

2、作业资源分配

（1）不加权（关注点是Job的个数）：

需求：有一条队列总资源12个，有4个job，对资源的需求分别是：

Job1–> 1 , job2–> 2 , job3–> 6 , job4–> 5

第一次算: 12 / 4 = 3

job1: 分3 --> 多2个 

job2: 分3 --> 多1个

job3: 分3 --> 差3个

job4: 分3 --> 差2个

第二次算: 3 / 2 = 1.5

job1: 分1

job2: 分2

job3: 分3 --> 差3个 --> 分1.5 --> 最终: 4.5 

job4: 分3 --> 差2个 --> 分1.5 --> 最终: 4.5

第n次算: 一直算到没有空闲资源

（2）加权（关注点是Job的权重）：

需求：有一条队列总资源16，有4个job

对资源的需求分别是:

job1->4

job2->2

job3->10

job4->4

每个job的权重为:

job1->5

job2->8

job3->1

job4->2

第一次算: 16 / (5+8+1+2) = 1

job1:  分5 --> 多1

job2:  分8 --> 多6

job3:  分1 --> 少9

job4:  分2 --> 少2

第二次算: 7 / (1+2) = 7/3

job1: 分4

job2: 分2

job3: 分1 --> 分7/3（2.33） -->少6.67

job4: 分2 --> 分14/3 (4.66)   -->多2.66

第三次算:2.66/1=2.66

job1: 分4

job2: 分2

job3: 分1 --> 分2.66/1 --> 分2.66

job4: 分4

第n次算: 一直算到没有空闲资源


上一篇     下一篇