0 引言

分布式拒绝服务攻击(Distributed Denial of Service，DDoS)，是指利用目标系统网络服务功能缺陷，直接消耗其系统资源，使得该目标系统无法提供正常的服务。

在网络协议低层，DDoS最明显的特征是流量出现异常，通过分析流量检测DDoS是常见的方法^[1]；对于应用层的DDoS，文献^[2]通过分析主干网络的用户访问行为，利用访问者产生的外联行为来检测应用层DDoS，该方法有效区分Flash Crowd^[3]和攻击行为。在产生Flash Crowd^[3]时，外联节点的客户端数量与客户端总数的比值稳定，而DDoS时外联节点与客户端总数会出现较大的变化，通过非参数的累积控制图(CUmulative SUM,CUSUM)计算外联节点与客户端总数比值的对数似然统计量偏移，能够有效区分突发访问与应用层DDoS。该方法对于Web应用服务器而言，主干层的网络数据不易获取。

文献^[4]提出了一种基于用户忠实度的应用层DDoS防御模型，该模型使用Cookie来标记不同用户的忠实度，根据用户的行为来评定用户忠实度，过滤忠实度低的用户访问，实现了应用层攻击防御。

文献^[5]通过分析应用层DDoS的单个用户平均请求次数(Average Number of Request per Client,ANRC)的变化规律，提出一种自回归的模型的检测算法。使用卡尔曼滤波算法预测正常用户的平均访问速率，当实际值和预测值的差超过阈值时，则判定为DDoS。

文献^[6]分析Web DDoS会话特征与正户访问会话的特征，将Web DDoS分为五类，根据DDoS与正常访问行为不同，并提出访问行为异常属性和session异常度模型。根据页面转移异常度、内嵌对象请求数异常度、Thinking Time异常度、URL长度异常度、Main page请求数异常度、请求循环次数异常度计算平均异常度，通过平均异常度的值来判断是否为合法请求。

针对Web的DDoS，Park等^[7]通过在客户端检测用户的鼠标点击行为来区分正常用户访问和攻击脚本，此类方法仍然受客户端限制；Paul等^[8]提出一种多项式分布模型，先对应用程序流量进行分组，通过对流量的分组与分流来识别和抵抗DDoS。文献^[9]使用隐马尔可夫模型来描述正常用户的访问行为，在线测量Web用户访问行为相对于正常访问模型的偏离度，根据偏离度大小判断恶意攻击序列。该方法的训练数据和计算过程繁琐，且不能完全涵盖所有喜好习惯不同的用户的访问特征。Rajesh^[10]提出一种访问矩阵来识别正常用户访问和DDoS，该方法主要适用于热门网站的服务器。

运用部署在主干网络的外联行为来检测应用层DDoS检测方法^[2]，难度较大，适用场景限制太多；文献^[4]所描述的用户忠实度的检测方法会受到客户端的限制和影响，容易被反制；基于ANRC的变化规律的自回归的模型的检测算法无法有效区分Flash Crowd和DDoS访问^[5]；文献^[6]在获取页面转移异常时需要根据用户访问页面的内容对页面分类，忽视了网站页面的本身链接关系，而网站页面的链接关系更能直接影响用户的session的访问行为，并且，在获取Thinking Time异常度时，容易受到小概率正常用户行为干扰，而此类行为对Thinking Time异常度影响大。

针对上述不足，本文主要通过分析Web网站的结构特点以及用户访问行为特点，提出一种基于Web行为轨迹的攻击防御模型(Application-layer DDoS defense model based on Web Behavior Trajectory,WBT)。该防御模型可以部署在Web服务器和应用服务器之间，检测模块把检测结果反馈给局域网防火墙、主机防火墙、Web服务器等软硬件安全设施，该防御模型不依赖于主干网络；该防御模型所有的检测数据不依赖客户端，不受客户端环境的影响；通过计算用户的访问依赖异常、行为速率异常、轨迹重复异常、轨迹偏离异常，能够有效区分DDoS与Flash Crowd；在分析用户访问行为时充分考虑页面的链接结构、在计算时合理排除小概率事件对结果的干扰，能够有效地防御对Web网站的DDoS。

1 Web行为轨迹 1.1 Web行为轨迹的表示

用户浏览网站的过程被定义为Web行为轨迹，Web行为轨迹可表示为四元组W(V,E,S,T)。

V是节点集合，表示网站所有用户通过URL访问的HTTP请求。这些节点包含六个属性，对于任意节点v_i∈V，v包含(id,userid,url_id,time,refer_id,count)六个属性。id表示访问节点的唯一标识符；userid表示用户的标识符；url_id表示用户访问的HTTP请求URL的唯一标识符；refer_id表示访问该节点的来源节点的id，根据refer_id可以计算refer_url；count是一个整数，用来表示当前会话用户第几次访问Web服务器。由于网站的访问规则是确定的，提供外部用户直接访问的URL是确定的，网站中能够合法访问的节点集合用V₀表示，称为固有点集。

E是边集，表示用户在两次相邻页面的跳转的关系。m是用户一次访问行为的轨迹长度，m=E。当一个网站发布之后，页面的链接是确定的。这些节点之间的关系用一个V×V的子集表示，即E₀⊆V×V，E₀称为网站的固有边集。

S是边的空间权值集合，对于任意边e_i=(v_i,v_j)，设S(e_i)=s_ij，则称s_ij为e_i上的空间权值。空间权值是节点v_i,v_j的最短路径。a,b,c,d,e,f,g,h,i,j是访问轨迹里的节点元素，即a,b,c,d,e,f,g,h,i,j∈V；a能直接访问b,c,d，即对于访问轨迹中边中的三个元素e₁=(a,b),e₂=(a,c),e₃=(a,d)它们的空间权值关系为S(e₁)=S(e₂)=S(e₃)=1；a到e的最短路径为2，即e₄=(a,e)，S(e₄)=2。当用户刷新页面时，这条边的空间权值为0，即e₅=(a,a)，S(e₅)=0。

T是时间权值的集合，对于任意边e_i=(v_i,v_i+1)，设e_i=(v_i,v_i+1)，则称t_ij为e_i上的时间权值。时间权值表示用户访问一个页面到另一个页面的思考时间。

1.2 Web行为轨迹分析

用W(V,E,S,T)表示用户在浏览网站的Web行为轨迹，W具备以下几点特征。

1) 对于任意e_i=(v_i,v_j)∈E₀，s_ij的取值大部分为1。用户在浏览网页时，主要通过页面链接跳转直接访问不同页面，当出现e_i=(v_i,v_j)∈E，s_ij>1所占频率增高时，说明用户的访问行为出现异常。

2) 在行为轨迹图W中，用户不用循环请求一个或者一组页面，当行为轨迹中出现大量重复访问序列，说明存在攻击行为。

3) e_i=(v_i,v_i+1)，t(e_i)=t，在用户浏览Web时，用户浏览一个节点到浏览另一个节点，需要一定的思考时间，思考时间与e_i是相关的，T(e_i)表示历史用户访问。攻击者为了达到攻击效果，往往会选择高速率的请求频率，此时，导致行为轨迹图中边的时间权值会非常小，出现行为速率异常。

4) 在用户访问的节点中，用户几乎不会单独访问一个单独的通过非开放URL访问的资源，并且用户不会经常访问不存在的URL，即V⊆V₀，当存在大量的访问的url节点a∈V∩aV₀时，表明用户的Web行为轨迹出现异常，说明可能在采用某种随机URL的程序在进行攻击行为，出现轨迹偏离异常。

1.3 获取节点参数

对于用户访问Web应用服务器的行为轨迹中的每个访问节点(id,userid,url_id,time,refer_id,count)，其中参数url_id、refer_id可以直接根据访问记录和HTTP。对于访问节点id，采用自增的整数或者随机的大整数来标识，userid通过Cookie与session或者重写url进行会话跟踪，一次会话的过程中userid相同，访问时间间隔time根据refer_id和userid来获取，count元素根据已知userid进行累加获取。

1.4 Web行为轨迹的化简

对于Web应用网站来说，URL的路径命名复杂，将每个URL对应一个url_id，这里采用文献^[11]在软件行为轨迹中的化简方法，在定义一个网站的行为轨迹模型前，

进行以下化简操作。

Web先驱元集。对于任意的访问节点v∈V₀，则称{u|u∈V₀∧〈u,v〉∈E₀∧u≠v}为v的先驱元集，记作Γ^-(v)。

Web后继元集。对于任意的访问节点v∈V₀，则称{u|u∈V₀∧〈v,u〉∈E₀∧u≠v}为v的后继元集，记作Γ⁺(v)。

化简Web行为轨迹针对URL和refer_id的对应关系。首先，合并等价URL。对于网站而言，如果任意两个URL访问的是同一资源，那么这两个节对应的url_id相同。

合并等价节点，如果两个节点的前驱元集和后继元集相等，那么这两个节点等价。如果一个访问节点的v_i,v_j∈V₀且Γ⁺(v_i ) = Γ⁺(v_j )∧Γ^-(v_i ) = Γ^-(v_j )，那么节点v_i等价于节点v_j。

2 WBT模型 2.1 部署结构

如图 2所示，WBT模型主要部署在应用服务器和Web服务器之间，WBT模型对于应用服务器是透明的，需要在Web服务器保证sessionId在会话中不会变化。对于非法用户的拦截，在应用层采用黑名单机制，在传输层采用防火墙策略。在识别出攻击访问行为之后，根据会话信息记录的客户端的IP、主机名、浏览器、设备标识等特征，将非法用户记录在黑名单中，并在局域网防火墙执行相应的拦截规则，在一定时间内限制符合此类特征的用户再次访问。当出现误判时，可让用户可通过输入验证码等安全方式主动移除黑名单。该防御模型核心的部分为检测模块，计算用户的访问行为是否为攻击行为。

2.2 防御机制

如图 3所示，在用户被判定为非法用户时，将用户信息记录在blacklist，通过防火墙规则或者Web服务器的黑名单机制限制，在一段时间内不允许该用户再次访问网站；当超过一定时间后，将用户自动从blacklist中移除，提供用户主动delist的网页入口，防止出现误判的现象，采取验证码等安全机制验证用户的真实性。

3 基于行为轨迹的异常因素及计算

在WBT模型中，最核心的部分为DDoS检测，在检测过程中，主要涉及访问依赖异常、轨迹重复异常、行为速率异常、轨迹偏离异常的计算。

3.1 访问依赖异常

在用户的一次行为轨迹图中，如果存在大量的e_i=(v_i,v_j)∈E，s_ij>1，将e_i出现的频率定义为访问依赖异常，记作P_dep：

${w_i} = |\left\{ {{e_i}|{e_i} \in E \wedge {s_{ij}} > 1} \right\}|/|E|;i > 2$

(1)

在给定的Web应用网站，节点的链接关系是已知的。每个页面的节点v的数据结构是一个有向图，图中的节点表示URL，节点之间的有向边表示了相邻节点之间的可达性，如图 4所示。

图 4是某个网站每个URL的可达性的示意图。页面之间的相邻性是确定的，当用户访问a，正常的访问模式能够访问的只有b、c，当访问a后访问了g，说明可能出现了访问异常，对于用户访问的集合W元素V、E，如果一个节点v_i∈V₀，那么v_i可达相邻节点的集合记作v_i.acc。通过遍历用户的边集，来确定依赖异常的点，依赖异常点集为：

${V_{\dim }} = \left\{ {{v_j}{\rm{|}}{e_i} = \left( {{v_i},{v_j}} \right) \in E,{v_i} \in {V_o},{v_j} \notin {v_{i.{\rm{ace}}}}} \right\}$

(2)

则对于用户的第i次访问，访问依赖异常：

${w_i} = {P_{{\rm{dep}}}} = \left| {{V_{\dim }}} \right|/\left| E \right|$

(3)

3.2 轨迹重复异常

在行为轨迹图W中，对于用户访问的节点a∈V，利用一个六元组(id,uid,url,time,refer_id,count)表示，重复轨迹表示两个相同轨迹之间是没有其他轨迹行为，用户的重复轨迹出现的次数c，重复的长度为l，n、d，其中d>1,n>1，n和d为给定的常数，轨迹相似异常为P_sim，对于用户的第i次访问，轨迹重复异常：

${x_i} = {P_{{\rm{sim}}}} = l \cdot c/|E|$

(4)

求重复轨迹的次数抽象成求一个序列中连续出现次数最多的子序列。用户访问的节点的URL以后缀树的形式表现出来。

a b c a b c a b c d e . substr [0]

b c a b c a b c d e ...substr [1]

c a b c a b c d e .....substr [2]

a b c a b c d e ......substr [3]

b c a b c d e .......substr [4]

c a b c d e ..........substr [5]

a b c d e ...........substr [6]

b c d e ..............substr [7]

判定条件是substr[i].substr(0,j-i)==substr[j].substr(0,j-i)，通过上述的计算方法，得出若干个连续出现的子序列之后，本文取出重复度最高的子序列来计算轨迹重复异常。

3.3 行为速率异常

当网站出现峰值访问时，对于网站而言，HTTP请求速率增加，但对于单个用户而言，访问的速率变化不大，并且一次请求的速率跟网站的内容通常是相关的，利用一个Key-Value数据库存储访问轨迹与估计速率的映射关系，访问停留时间代表访问速率。用户访问的速率跟访问节点的内容具有相关性。

对于网站的固有边集E₀，对应的正常时间权值集合T，攻击者通常采用高频率的HTTP请求，来达到攻击效果，在时间权值集合T(e_i)中，把集合中的元素从小到大排序，得到排序好的集合T_sort(e_i)，用户在浏览网页的时候的请求速率不可能太快，将T_sort(e_i)的中值记为t(e_i0)，t(e_i)用户访问轨迹e_i的真实停留时间间隔，q为给定的常数。第i次访问产生的行为速率异常：

${y_i} = {P_{{\rm{rate}}}}{\rm{|}}\left\{ {{e_i}|t\left( {{e_i}} \right) - t\left( {{e_{i0}}} \right)/t\left( {{e_{i0}}} \right) > 0} \right\}|/|E|$

(5)

图 5为Music Machines-HTTP^[12]的时间权值分布散点图，在检测行为速率异常中，在JSP页面和ASP中默认session分别为30 min和20 min，如果用户长时间停留在某一页面，虽然此类节点产生概率相对较少，但对于平均值的影响非常大，当使用均值检测时，如果有异常存在此类节点，检测的灵敏度将大幅度降低，所以在检测的过程中取访问历史时间的中值。

3.4 轨迹偏离异常

在一个确定的网站中，页面的结构是确定的，即每个页面对应的资源是确定的，每个资源所在的页面也是确定的。如图 6所示，在某网站中，图片A只出现在页面1与页面2中，如果某一用户访问了图片A，则此用户很有可能访问了页面1的URL页面2的URL。如果在用户的某次访问中，出现大量的图片A的HTTP请求，而没有出现页面1或者页面2的请求地址，说明此次访问存在异常。

在一次行为轨迹中，假如图片A的节点为v_A，单独出现的次数是i，图片A的URL访问异常为：

${P_{{\rm{derailed}}}} = i/|E|$

(6)

一个网站的URL也是确定的，如果用户的某次访问中存在大量的不存在的URL，则用户访问的轨迹偏离了正常的轨迹，用户某次访问不存在的URL的次数是j，则轨迹偏离异常度为：

${P_{{\rm{nonexistent}}}} = j/|E|$

(7)

用户第i次访问时，轨迹偏离异常：

${{z}_{i}}={{P}_{\text{derailed}}}+{{P}_{\text{nonexistent}}}$

(8)

3.5 基于行为轨迹的异常计算

Web服务器功能的差异性导致了正常访问产生的异常度不一致，检测过程中，四种异常所占的权值不同。

假设用户在第i次访问时的访问依赖异常、轨迹重复、行为速率、轨迹偏离分别为w_i、x_i、y_i、z_i，根据以上公式，可以计算出在第i次的异常因素为：

${{P}_{i}}={{f}_{\text{total}}}\left( {{w}_{i}},{{x}_{i}},{{y}_{i}},{{z}_{i}} \right)$

(9)

根据网站的性质不同，正常用户在访问过程中产生的异常因素P_i的计算方式也不同，即依赖异常、轨迹重复、行为速率、轨迹偏离的异常的统计的权重不同，那么有：

${{P}_{i}}=a{{w}_{i}}+b{{x}_{i}}+c{{y}_{i}}+d{{z}_{i}}$

(10)

其中常数a,b,c,d的取值取决于网站的内容和结构。 μ(w)、σ(w)、 μ(x)、σ(x)、 μ(y)、σ(y)、 μ(z)、σ(z)分别表示四种异常值的平均值和方差。当异常值超过平均值方差时则报警。

4 实验评估 4.1 搭建WBT模型

模拟实验采用Music Machines-HTTP从1996年12月29日00:00:00到1997-09-23 23:45:01日志数据作为训练集，总共包含4143条session，采用1997年09月21日 23:59:14到1997年09月23日23:45:01日志数据作为模拟测试数据，实验对象为machines主机上的数据，先计算训练数据集四种异常平均值μ(w)、 μ(x)、 μ(y)、 μ(z)和四种方差σ²(w)、σ²(x)、σ²(y)、σ²(z)。实验过程中，把machines下的所有访问看作是一台应用服务器或者一个服务器集群。先把日志数据存储在数据库表中，对其进行化简处理，通过日志数据的URL的referer关系得出网站的链接结构。根据链结构以及URL生成一个模拟的machines网站。将Single Flood、Session Flood、Multi-URL Flood、Random-URL、Forged-URL分别记为A、B、C、D、E，通过模拟A、B、C、D、E五种攻击行为对网站进行访问，观察其四种异常值，当超出任意异常值平均值一个方差的值时，则判定为攻击行为。

WBT模型搭建在Linux操作系统上，采用Nginx当作Web服务器，Tomcat当作应用服务器，Nginx记录的日志为原始的访问日志，作为检测分析的数据源为日志数据，采用Nginx的动态黑名单和局域网防火墙机制限制非法访问，在判定为非法访问时，则产生报警。

4.2 数据预处理

对于referer不属于machines的URL，统一用“others“标记，不含有referer的访问referer采用符号“-”标记。处理之后，总共包含352个不同的referer，计算训练集中的访问依赖异常、轨迹重复异常、行为速率异常、轨迹偏离异常，其中训练集的每个异常因素概率密度函数分布如图 7所示。

其中，均值和方差分别为：

$\left\{ \begin{align} & \mu (w)=0.1373,{{\sigma }^{2}}(w)=0.0505 \\ & \mu (x)=0.0724{{\sigma }^{2}}(x)=0.0146 \\ & \mu (y)=0.0587,{{\sigma }^{2}}(y)=0.0353 \\ & \mu (z)=0.0380,{{\sigma }^{2}}(z)=0.0631 \\ \end{align} \right.$

4.3 实验结果

在攻击频率较高时，五类攻击请求均表现为行为速率异常，在使用正常速率攻击时，对于A类攻击，表现出为访问依赖异常、轨迹重复异常；对于B类攻击，在session长度较短时，主要表现为访问依赖异常，在session长度较长时，偏离网站原有链接关系的访问节点较少，主要表现为轨迹重复异常；对于C类攻击，由于是组合的URL，并且重复多次请求，主要表现为访问依赖、轨迹偏离异常、轨迹重复异常；对于D类攻击，采用随机单个URL进行攻击，主要表现为访问依赖异常、轨迹偏离异常；对于E类攻击，由于URL是伪造的，所以在访问过程中，出现大量的HTTP状态码为404的错误，主要表现为轨迹偏离异常。如表 1所示，为防御模型在该五种攻击行为时的检测性能。

在A、B、C、D、E五种类型的攻击模式下，四种异常值与访问次数的关系如图 8~11所示。

如图 8所示，A类攻击产生访问依赖异常值为在初始状态1；而在B类攻击模式下，由于B类攻击截取了一段正常session进行反复访问，访问依赖异常值维持在一个较小的值；C类攻击选取的URL组合没有考虑连接关系，维持在一个较大的值；Random-URL攻击和Forged-URL攻击的访问依赖值在初始状态就为1。

如图 9所示，A类轨迹重复异常值为1；B类攻击在刚开始，处于一个较小的值，当第二次Flood完成时，行为轨迹模型识别出攻击模式，轨迹重复异常值达到最大。C类的轨迹重复异出现了较大的抖动，在攻击启动时，不会出现重复，当第二次Multi-URL访问完时，轨迹重复异常值达到最大并且超过阈值；D类由于攻击路径的随机性，导致轨迹重复异常值稳定在一个较小的值；E类攻击通过伪造随机的超长URL，轨迹重复异常值稳定在0左右。

图 10为真实测试数据模拟的B类和C类攻击时计算行为速率异常值。与页面的内容与访问速率相关的A、D、E类攻击模式的异常值在检测开始后迅速达到最大值。B类攻击的异常值稳定在一个较小的值，在行为速率异常值不明显；而在Multi-URL Flood的访问速率异常值最后稳定在0.24，超出阈值。

如图 11所示，A类攻击被攻击行为被认为轨迹偏离异常值为0；B类攻击在轨迹偏离异常值中稳定在一个较小的值；C类攻击由于在访问过程中存在跳动的情况，轨迹偏离处于一个较大的稳定值，超出检测阈值；D、E由于攻击的随机性，轨迹偏离异常值维持在最大。

4.4 性能分析

对于高频率的Web DDoS行为，由于文献^[2]涉及的方法需要收集与计算网站和主干网络的数据，而WBT模型只需读取网站自身产生的数据，所以本文的防御效率要优于文献^[2]所描述的方法；由于文献^[6]在计算Thinking Time异常值和Main page请求数异常值时采用均值，在实验中针对初始频率低、频率逐渐增加的攻击行为时，WBT防御模型的检测效率优于文献的session异常模型，并且误判率低。

4.5 相关工作比较

文献^[6]与本文有几点不同。首先，在session异常模型中，通过训练数据计算页面是否属于同一话题，从而确定页面转移异常，而Web行为轨迹的访问依赖异常的根据是Web服务器的相互链接的关系；通过Web行为轨迹化简过程可以有效降低计算复杂度。其次，session异常模型的Thinking Time异常值将所有页面的跳转时间统一计算，而Web行为轨迹模型考虑到页面内容与跳转时间相关，在每次HTTP请求时，根据访问边查找对应跳转时间，检测过程中对请求频率更加敏感。文献^[4]基于用户忠实度的应用层DDoS防御模型，过度依赖于Cookie机制，而本文描述的行为轨迹模型部署在服务器端，检测方法不受客户端影响。

5 结语

本文针对Web网站的结构以及应用层DDoS的攻击特点，定义了一个Web行为轨迹W(V,E,S,T)，在此检测模型的基础上搭建WBT模型来防御应用层DDoS。通过统计正常访问的历史信息已经页面的链接关系，定义固有边集E₀，空间权值S，边时间权值集合T(e_i)。通过行为轨迹化简方法，简化计算模型，增加防御性能。

在用户每次发起HTTP请求到达服务器后，根据用户产生的节点v_i∈V的信息计算访问依赖异常、轨迹重复异常、行为速率异常、轨迹偏离异常；计算异常值偏离均值的差，从而判断此用户访问是否为DDoS行为。由于网站的功能不一致，确定四种异常值对总体异常权值比的参数a、b、c、d的取值策略仍需完善。