0 引言

从Google公司提出云计算的概念以来,很多大型企业纷纷参与到云计算的研究中,Amazon率先推出了AWS服务,而后,Google、微软和IBM也分别推出了Google App Engine、Windows Azure和Lotus等云服务^[1],使得云计算的市场规模迅速扩大,用户急剧增长。随着云计算规模迅速提升,随之而来的是能源消耗的急剧增长,在数据中心,服务器等基础设施会带来大量的电能消耗^[2]。由于云计算被提倡为“绿色计算”^[3],针对以上现状,目前云计算数据中心在硬件方面大多采用动态变频变压技术(Dynamic Voltage and Frequency Scaling,DVFS)及服务器状态切换技术等^[4],这些硬件技术为云计算数据中心的技能管理系统提供了有效的硬件技术支持。在软件方面,云计算广泛采用虚拟化机制,在任务调度和资源迁移调度方面为云计算数据中心的节能调度提供了很大的便利。

在数据中心能源被大量消耗的同时,一些计算节点为了得到更多的资源,会通过长期占用等手段非法使用资源^[5],这样会造成系统资源使用不合理,对资源调度的公平性造成破坏。在已提出的经典的资源调度问题中,如加权轮转法和最小负载优先等,都不能保证所有用户的任务得到高效公平的完成。在异构的云计算环境下,用户提供的任务往往有多种类型,如计算密集型任务、存储密集型任务等,相对于单一类型资源的调度问题而言,多类型资源的调度更加难以做到完全的公平。所以在异构的云计算环境下,节能减排的同时实现公平高效的调度多类资源就显得尤其重要,这也成为近来研究的一个热点问题。

针对现存的云计算数据中心高能耗的问题,国内外学术界以及工业界都展开了很多深入的研究。近年来也有人提出了“绿色云计算”的概念。目前,大多数的研究学者认为,绿色云计算是指通过各种软硬件的技术来改善云计算数据中心的硬件设施设计，提高数据中心的资源利用率,减少能源的损失以达到降低能耗的目的,从而减少二氧化碳的排放量,取得更高效的节能环保成果^[6]。能耗模型是实现绿色云计算的核心问题,文献^[7]主要研究了物理主机的能耗,但该能耗模型没有考虑具体的工作负载对特定硬件的影响。文献^[8]针对云任务提出了一个能源模型,该模型的节能任务合并算法可以减少云环境下的能源消耗；不足之处在于其假定物理机的能耗和CPU的使用率成线性关系,但是在异构云计算环境下,往往是多资源类型多任务类型,不一定和CPU的使用率成线性关系。Liu等^[9]提出了一种可以基于服务器CPU利用率来动态合并虚拟机的云基础设施,根据CPU的使用率判定空闲的物理服务器并将其关闭,但该方法没有考虑具有多任务类型的大型任务对模型的影响,所以方法还不完善。每一个物理机的能源消耗是由CPU、缓存、内存和硬盘产生的^[10],但在虚拟化的云计算环境中,能源消耗可以由两方面组成^[11-12]:静态的能源消耗与动态的能源消耗。Kansal等^[10]提出了一个集CPU、内存、磁盘及其他静态资源为一体的能耗模型。Bohra等^[12]提出了一个新的虚拟机能耗模型,将每个资源当作一个域,该能耗模型由两部分组成:基础的能源消耗和动态的能源消耗。本文采取的计算能耗模型,则避开了上述能耗模型的弊端,将系统的能耗分为动态能耗和静态能耗两种,分别根据物理机的不同状态的基础能耗比,准确实时地计算系统能耗。

为了减少数据中心的能耗,学者们研究出了许多技术,包括动态变频变压技术、内存最优化^[13]等。但这些技术都未考虑虚拟化的环境、能源管理机制的集成和虚拟化技术的策略,例如虚拟机的实时迁移和计算节点状态的切换^[14-15]等都可以用来减少云计算数据中心的能源消耗。Beloglazov等^[16]提出了一个用实时迁移方法动态分配虚拟机的启发式调度算法。

在虚拟机迁移的过程中,存在一个虚拟机是否公平得迁移到新的物理机上的问题。早期的研究大多是寻求最小资源需求最大化,保证大多数的用户请求得到满足,但这些都是针对单一类型资源的调度情况,在多资源的公平性调度方面,已有的工作也是针对同一种资源的多实例分配方法,文献^[17]就是针对多个CPU实例的调度方法,这些方法并没有真正涉及到多资源类型。文献^[18]提出了一种基于“优势份额”(Dominant Share)的DRF调度算法,解决了在多种类型资源共存的情况下如何保证公平调度的问题。本文将DRF的一些思想引入到云平台资源调度问题,首先提出了多类型任务公平分配算法(Multi-type Tasks Allocation Algorithm,MTAA)，接着在MTAA算法的基础上提出了一种基于能耗感知的节能公平的资源调度算法(Fair and Green Resource Scheduling Algorithm,FGRSA)。该算法真正实现了在多种类型的任务和资源共存的环境下,最小化系统能耗量和提升系统各资源公平性。

1 系统模型 1.1 能耗计算模型

在现有的大多数的能耗模型中,主要存在基于系统使用率的能耗模型和基于性能计数器的能耗模型两种。对于系统使用率的能耗模型显得更为稳定,本文的公平性参数就是物理机上各类资源的使用率,所以本文将物理机的基础能耗和虚拟机不同状态的能耗、虚拟机内部外部通信、物理机内外部通信和物理机不同状态的切换产生的能耗同时考虑进去,是一套完整的系统能耗计算模型。

云计算数据中心的能耗E由静态能耗E_Static和动态能耗E_Dyna组成,即

${{\delta }_{m}}\text{=}2\gamma \text{*(}{{\varphi }_{m}}\text{+}Nu{{m}_{vm,m}}*\beta \text{)/}{{\varphi }_{m}}$

(1)

其中:静态能耗E_Static代表应用程序执行时的能源消耗；动态能耗E_Dyna代表数据中心所有动态操作的能源消耗;1≤m≤M，M为总的物理机数量。

每台物理机在运行状态下的基本能耗称作基础能耗比,所以所有物理机的总基础能耗表示为PM_base。

$P{{M}_{base}}={{\sum\nolimits_{m=1}^{M}{T_{m}^{active}\varphi }}_{m}}$

(2)

其中:M表示物理机的总量；T _m^active为物理机P_m的总运行时间；φ_m表示一台物理机的基础能耗比例。

执行程序时由运行的虚拟机产生的能耗可以表示为：

$V{{M}_{exe}}=\sum\nolimits_{m=1}^{M}{\sum\nolimits_{i=1}^{{{V}_{m}}}{t_{m,i}^{exe}\beta }}$

(3)

定义物理机集合:PM={PM₁,PM₂,…,PM_m,…,PM_M}。对于每一个物理机PM_m,运行在其上的虚拟机表示为vm_m,每台物理机上有v_m台虚拟机,PM_m,i表示物理机PM_m上第i(1≤i≤v_m)个虚拟机。所以,t_m,i^exe代表PM_m,i的总执行时间,β为每个虚拟机的执行能源消耗比。

当一台物理机上存在一些空闲的虚拟机时,这些虚拟机只消耗一些基本的能耗。这种情况下由空闲虚拟机产生的能耗表示为：

$V{{M}_{idle}}=\sum\nolimits_{m=1}^{M}{\sum\nolimits_{i=1}^{{{V}_{m}}}{t_{m,i}^{idle}\text{ }\!\!\gamma\!\!\text{ }}}$

(4)

其中:t_m,i^idle为PM_m,i的总空闲时间；γ为每个虚拟机的基本的能源消耗。

由于一些任务过大,需要将其分配到两台或两台以上的虚拟机上执行,当这些虚拟机都分布在同一台物理机上时,会产生同一台物理机上不同虚拟机之间的通信能耗。内部通信能耗可以表示为：

${{C}_{\text{inter}}}=\sum\nolimits_{m=1}^{M}{\sum\nolimits_{i=1}^{{{V}_{m}}}{\sum\nolimits_{j=1}^{{{V}_{m}}}{\frac{{{d}_{i,j}}}{b{{w}_{m}}}{{\vartheta }_{m}}}}}$

(5)

其中:d_i,j表示从虚拟机V_i到虚拟机V_j的总数据传输量；bw_m表示物理机PM_m的内部通信带宽；_m表示PM_m的内部通信能耗比。

当任务过大分配到多个虚拟机上执行时,这些虚拟机若是分布在不同的物理机上,则会产生不同物理机之间的通信能耗,称作外部通信能耗,表示为：

${{C}_{exter}}=\sum\nolimits_{m=1}^{M}{\sum\nolimits_{m=1}^{M}{\frac{{{D}_{m,{{m}^{'}}}}}{b{{w}_{m,{{m}^{'}}}}}}}{{\omega }_{m,{{m}^{'}}}}$

(6)

其中:D′_m,m表示从PM_m到PM′_m 的总数据传输量；bw′_m,m表示PM_m和PM′_m 之间的通信带宽；ω′_m,m为相应的能源消耗比例。

所以,应用程序执行时的总能源消耗E_Static可表示为：

${{E}_{Static}}=P{{M}_{base}}+V{{M}_{exe}}+V{{M}_{idle}}+{{C}_{\operatorname{int}er}}+{{C}_{exter}}$

(7)

当一台物理机上的所有虚拟机都处于空闲状态时,这台物理机可以设定成两种状态:低能耗状态和睡眠状态。状态切换能耗EC_Switch是由物理机向睡眠状态、低能耗状态和运行状态之间的相互切换所消耗的能源组成的。一个空闲的物理机该切换为低能耗状态或睡眠状态的阈值为δ_m,δ_m计算为:

${{\delta }_{m}}\text{=}2\gamma \text{*(}{{\varphi }_{m}}\text{+}Nu{{m}_{vm,m}}*\beta \text{)/}{{\varphi }_{m}}$

(8)

其中:γ为开启一个物理机或将一个物理机切换到睡眠模式所需要的时间；φ_m为物理机m的基础能耗比；Num_vm,m为物理机m上虚拟机的数量； β为每个虚拟机运行时的能源消耗比。

当一台物理机的空闲总时间超过阈值δ_m,则切换到睡眠模式；否则切换到低能耗模式,即

${{\omega }_{m}}=\left\{ \begin{matrix} {{\rho }_{m}},{{T}_{idle}}>{{\delta }_{m}} \\ {{\varphi }_{m}},{{T}_{idle}}＜{{\delta }_{m}} \\ \end{matrix} \right.$

(9)

其中: ρ_m为睡眠状态的物理机m的能耗比； φ_m为低能耗状态的物理机m的能耗比。所以,空闲状态的物理机能耗为:

$E{{C}_{idle}}=\sum\nolimits_{m=1}^{M}{T_{m}^{idle}}*{{\omega }_{m}}$

(10)

其中:T _m^idle为物理机m上的所有虚拟机的空闲时间。

在切换状态时的能源消耗表示为EC_Switch,设定物理机在开启和睡眠状态的切换操作要消耗最多的能源,即

$E{{C}_{switch}}=\sum\nolimits_{m=1}^{M}{Nu{{m}_{switch,m}}*\left( {{\varphi }_{m}}+Nu{{m}_{vm,m}}*\alpha \right)*\gamma }$

(11)

其中:Num_Switch,m表示物理机m在睡眠状态和运行状态之间的切换次数。

那么,系统动态操作的能耗可以由式(12)计算:

${{E}_{Dyna}}=E{{C}_{idle}}+E{{C}_{Switch}}$

(12)

1.2 公平性计算模型

由于数据中心每时每刻都在处理海量数据,所以公平性度量函数也要充分地考虑到云计算平台的这种特性,在资源动态变化的情况下,对当前状态的公平值有个准确有效的评估。所以本文提出的公平性函数如下:

$G={{F}_{\lambda \left( R \right),t}}(x)$

(13)

其中:函数F为动态公平性映射关系；λ为资源利用率参数,不同类型的资源返回的λ值是不同的；t表示时间的变化；x为当前时间t的节点计算任务集合。该公平性函数是可以实时评估系统的公平性的。

设定云计算数据中心提供的资源集合为R,资源池由一系列的异构资源组成,定义数据中心共有K种资源。则R={R₁,R₂,…,R_k,…,R_K}。所有用户提交的任务集合为T,T包括所有等调度的任务。每一个任务表示为T_n(1≤n≤N)。存在的资源对应的资源总量为R_k。不同的密集型任务应该分配给不同类型的虚拟机。设定任务T_n分配到物理机m上,在物理机m上的资源需求向量为d_i={d_m,n,1,d_m,n,2,…,d_m,n,k,…,d_m,n,K},物理机m上的各资源消耗量为C_m,n,1,C_m,n,2,…,C_m,n,k,…,C_m,n,K。

一个任务的主要份额就是它对应k类型所需要的资源占执行该任务的物理机的对应类型资源的百分比,即

${{\mu }_{i}}=\frac{{{d}_{n}}}{{{R}_{k}}}$

(14)

其中:d_n为任务n对应类型的资源需求量；R_k表示所有k类资源的总量。

所以,公平值的计算公式为:

$G={{\sum\nolimits_{k=1}^{k=K}{(\sum\nolimits_{i=1}^{i=Nu{{m}_{Task}}}{judge\left( k,tas{{k}_{i}} \right)*{{\mu }_{i}}})}}^{{{\eta }_{k}}}}$

(15)

其中:η_k表示各类资源的资源利用率,是同种类型的正在运行的虚拟机个数与对应类型的所有虚拟机个数比; judge(k,task_i)用于判断任务task_i是否是k类型的任务,当任务task_i是类型k的任务,返回值为1,否则为0。

2 本文算法 2.1 多类型任务公平分配算法

由于用户往数据中心提交的海量任务中有很多类型,例如视频流任务对网络资源带宽的需求量大,而对CPU、内存和存储资源等其他资源的需求量较小,所以将视频流任务设定为带宽密集型任务。在云计算资源池中,有一系列异构的服务器,每台服务器对于各种类型的任务处理效率不同,每种类型的任务对物理机中各种资源的需求量也是不同的。所以在创建虚拟机时,要根据相应的任务类型创建相应类型的虚拟机,配置在相应类型的物理机上。若以CPU密集型任务、带宽密集型任务、内存密集型任务和存储资源密集型任务对虚拟机资源的需求举例,则结果如图 1所示。

假设CPU密集型的任务分配到VM1上,则VM1的各种类型的资源分配应如图 1所示,余下的三个虚拟机规格设置以此类推。

将任务分配到物理机上时,要采用公平的分配方法,本文提出一种按任务类型请求物理机的分配方法,将同种类型的任务分配到对应类型的物理机上。

本文提出的MTAA是将每个任务的各类型资源的消耗量与同一类型的物理机资源量进行对比,若任务n为CPU密集型任务,则该任务对CPU的需求量与物理机m的CPU资源量比为:

${{W}_{n,m}}=\frac{{{d}_{n,CPU}}}{{{R}_{m,CPU}}}$

(16)

其中:d_n,CPU为任务n对CPU资源的需求量。

别的任务类型的需求量比值以此类推可计算出,先根据任务列表中的每个资源的任务的需求量比进行降序排列,得到最小的物理机m。将每个任务分配到对应类型物理机列表中需求量比值最小的物理机上且要满足可分配准则F为1:

$F={{C}_{m,k}}＜{{R}_{m,k}}$

(17)

其中:1≤k≤K。即待分配任务的物理机各类资源的现有使用量均不超过总资源量,当满足分配准则时,将任务n分配到物理机m上,再更新该物理机的已使用资源量和任务列表T,若不满足分配准则,则在剩下的可满足分配准则的物理机中寻找W_n,m值最小的物理机,将任务分配上去,最后更新任务列表和物理机的各类资源使用量。以此类推,直到所有任务执行完毕。

算法MTAA的伪代码如下所示。

算法1 多类型任务公平分配算法MTAA。

输入 一组多类型任务,各个物理机各类资源量。

输出 任务分配结果。

1) 初始化任务列表T,物理机列表P,每个物理机的四种资源使用量等参数

2)  while n ＜N

3)   do for 任务列表中的每个任务

4)    do 计算每个类型任务的需求量比W_n,m;

5)     降序排列W_n,m;

6)     选出W_n,m最小的物理机m;

7)     C_m,k=C_m,k+d_i,m,k;/*判定物理机未超负荷*/

8)   if 满足可分配准则 then

9)    将任务n分配到物理机m上;

10)   else then

11)    do 选出满足可分配准则的物理机中W_n,m值最小的物理机;

12)     do 分配任务n到该物理机上并从任务列表中删除任务n;

13)   end if

14)  do 更新任务列表和物理机的各类资源使用量;

15)  until 满足可分配准则；

16)  end for

17) end while

18) 算法MTAA停止

2.2 算法FGRSA

虚拟机的动态迁移是指虚拟机在运行时,可以在服务器节点之间迁移。虚拟机的动态迁移包含两个基本过程:对于主机负载过高的服务器,迁移其中的虚拟机以降低主机负载,这个阈值定义为上限阈值θ₁;对于低负载的主机,可以将运行在上面的虚拟机迁出,然后切换到一种低功耗的模式,降低活动主机数量,从而降低数据中心的总能耗,这个阈值定义为下限阈值θ₂。

将虚拟机的动态迁移问题划分为以下几个部分:

1) 决策主机处于低负载状态的阈值θ₂,负载低于这个阈值的物理机将会被切换到休眠或者关闭状态,并将运行在其上的虚拟机全部调度出去;

2) 决策主机处于高负载状态的阈值θ₁,将从中迁移出来一些特定的虚拟机,使主机的负载降低;

3) 决策处于高负载状态的主机中,迁移出哪些虚拟机。

FGRSA的伪代码如下所示。

算法2 节能公平的资源调度算法FGRSA。

输入 物理机列表,各物理机的各类资源使用率。

输出 资源调度方案。

1) 初始化物理机列表P

2) 根据算法1对任务进行初始分配

3) for 所有运行的物理机

4)  do 定时将各物理机的各类资源使用率发送到调度中心;

5)  if 存在资源使用率> θ₁的物理机 then

6)   从过载物理机中获得虚拟机迁移列表List;

7)   将List中的虚拟机根据算法1迁移到当前物理机列表中负载最低的物理机上;

8)  else if 被分配的物理机过载 then

9)   开启一台新的物理机,根据算法1将虚拟机迁移到该物理机上;

10)  else 按照当前调度方案,更新各个物理机状态信息;

11)  end if

12)  if (存在资源使用率＜θ₂的物理机)&&(迁移出的资源量小于剩下物理机不高于阈值的资源量) then

13)   do 从过低负载物理机上获得虚拟机迁移列表

14)    并关闭该物理机;

15)    将物理机列表中的虚拟机根据算法1迁移到当前物理机列表中负载最低的物理机上;

16)  else if (迁移出的资源量小于剩下物理机不高于阈值的资源量) then

17)    do 不迁移虚拟机;

18)  else 将调度方案分发到各个物理机;

19)  end if

20) end for

21) 虚拟机资源调度算法停止

为了进行对比性分析,将FGRSA、Greedy算法和Round Robin算法进行比照分析。FGRSA先对任务进行需求量比W_n,m的计算,然后将最低W_n,m的任务分配到相应的物理机m上,所以其算法复杂度为O(N²)；由于Greedy算法和Round Robin算法对任务列表不需要进行排序处理,所以这两个算法的复杂度都为O(N)。虽然FGRSA的复杂度较高,但是该调度算法对于数据中心的能耗节省和资源调度的公平性提升方面,都比另两个算法优越很多。

3 实验评估 3.1 实验环境

本研究采用CloudSim-3.0.3 仿真工具^[19]进行了大量云环境中的资源调度模拟实验,来评估提出的能耗感知的公平性提升资源调度方法。实验所需数据部分来源于文献^[20],本文使用公平性指数和能源消耗量来评估提出的调度策略的优越性。

由于不同机型在执行上的差异会导致评估误差,所以在仿真实验中,创建数据中心时用了四种不同的服务器。这四种服务器配置如表 1所示。

如表 1所示，四种服务器各用了250台,云数据中心共有1 000台服务器。

从亚马逊EC2示例可看出,可以将一个微弹性计算单元视为一个虚拟机,那么服务器容量就可以用服务器上配置的虚拟机个数来衡量^[21-22]。基于实例,在本文的仿真平台中,这四种类型的服务器的容量分别被设置成8、10、26和40。虚拟机的基础能耗和运行时的能耗分别为4 W和7 W。

实验中用到的数据集可以用四个基本参数说明,如表 2所示。数据集中的一条数据记录是一个十一元组,如数据记录(009,2,1,0,1 343,1,180,2,593 669,3,91),它表示第9个任务,是第二种类型的任务,需要1个虚拟机执行,剩下4个数据为任务对几种类型物理机的资源需求量。

3.2 实验结果与分析

从系统的能源消耗量出发,根据任务进入数据中心的量不同,要开启不同数量的虚拟机。

本文通过四个数据集对三个算法进行对比实验,各算法资源调度的能源消耗如图 2所示。

从图 2可看出,在同样的配置条件下,本文提出的FGRSA比Greedy算法和Round Robin算法在相同时间内能耗要节省很多，并且随着数据中心运行的虚拟机台数越多,系统运行时间增加,其性能优势就越明显。

以虚拟机数量为1 000的实验结果图 2(c)为例,在运行了700 s以前,三种算法的能耗量并没有明显差别,但是当时间超过700 s,FGRSA的优势就越来越明显。

系统公平值方面的对比如图 3所示。从图 3可看出,FGRSA比Greedy算法和Round Robin算法在相同时间公平值都高，并且在数据中心运行的虚拟机台数越多,其优越性能就越明显。由于系统运行过一段时间之后,总体的运行任务减少,导致资源利用率减少,所以公平值是呈下降趋势的,但是FGRSA的公平值一直在另两个算法之上。

4 结语

目前由于云计算的节能减排问题日益突出,数据中心对于如何防止通过恶意占用资源、欺骗资源等手段破坏公平性的问题很少有学者关注,所以本文提出了一种能耗感知的公平性提升资源调度方案。在解决数据中心基础设施如何减少能耗问题以及构建解决该问题的可行技术上,针对目前数据中心的大量能源消耗,采用有效的算法进行虚拟机资源调度,提高物理服务器上的资源使用率,关闭一些闲置的物理机并使一部分负载偏低的物理机处于休眠状态,以达到降低云计算中心的能源消耗的目的。在物理机的运行状态、休眠状态和关闭状态之间相互切换时对物理机上的虚拟机进行实时的虚拟机迁移,达到各个物理资源的公平使用,并通过公平的分配算法,将任务合理地分配到物理机上。

但由于数据中心任务种类和数量都在不断动态变化,所以两个固定阈值θ₁和θ₂不能最大限度地减少数据中心的能源消耗。如何在动态变化的环境下,根据系统当前的情况实时改变阈值使系统可以节省更多的能源是笔者未来的工作目标。