0 引言

前馈神经网络能够通过输入样本逼近复杂的非线性映射，因此在很多领域都有应用，但是存在学习速度慢、容易陷入局部收敛和在不同场合其参数难以调解等复杂问题，以致其发展受限。为解决这些问题，2006年Huang^[1]提出一种新型单隐层前馈神经网络--极限学习机(Extreme Learning Machine, ELM)，通过核函数将数据从低维空间映射到高维空间中，处理非线性数据，但是参数随机产生使结果存在一定的随机性，因此容易产生较差的分类效果。1995年James Kennedy和Russel Eberhart提出粒子群(Particle Swarm Optimization, PSO)算法^[2-3]，该方法是基于群体演化的随机全局优化的一种智能优化算法，其中心思想是对鸟群或鱼群合作捕食行为的研究。在优化复杂函数时，PSO算法的搜索精度不能达到要求，且易陷入局部最优的状况，到搜索后期经常会出现震荡情况。2009年，Lei等^[4]提出了基于混沌序列的粒子群优化算法，通过引入混沌序列增强了算法的全局搜索能力。2012年，Han等^[5]提出了用PSO算法对ELM进行优化，通过优化ELM的输入层权值及隐藏层偏差，得到一个最优的网络。2015年，Yang等^[6]提出基于Tent混沌序列的PSO算法，在增强全局搜索能力的基础上有效地避免了算法的盲目性，提高了算法收敛速度。

本文通过分析ELM的缺点，提出一种新的自适应混沌粒子群-极限学习机(Adaptive Chaotic Particle Swarm Optimization-Extreme Learning Machine, ACPSO-ELM)分类器。在该算法中，首先通过ELM对给定的数据进行初始化，产生一组输入权值和隐藏层偏置，再通过ACPSO算法寻找最优输入权值和隐藏层偏置，最后将得到的结果代入ELM中训练。

1 极限学习机

ELM是Huang在摩尔-彭罗斯广义逆矩阵理论的基础上提出的一种单隐层前馈神经网络的监督型学习算法，该算法由单隐层反馈神经网络发展而来，通过最小二乘法计算输出权值完成训练，同时算法的学习速度和泛化性能得到明显提高。

假设含有一个N个不同样本的矩阵(x_i, t_i)，其中${\mathit{\boldsymbol{x}}_i} = {\left[{{x_{i1}}, {x_{i2}}, ..., {x_{iN}}} \right]^{\bf{T}}} \in {{\bf{R}}^N}$，${\mathit{\boldsymbol{t}}_i} = {\left[{{t_{i1}}, {t_{i2}}, ..., {t_{im}}} \right]^{\rm{T}}} \in {{\bf{R}}^m}$i=1, 2, …, N。含有L个单隐层节点数目，L≤N, g(x)为Sigmoid类型的激活函数，则ELM的数学模型公式如式(1):

$ {\mathit{\boldsymbol{t}}_i} = \sum\limits_{i = 1}^L {{\beta _i}} {g_i}({\mathit{\boldsymbol{x}}_i}) = \sum\limits_{i = 1}^L {{\beta _i}} g({\mathit{\boldsymbol{w}}_i}{\mathit{\boldsymbol{x}}_j} + {\mathit{\boldsymbol{b}}_i}) $

(1)

其中：j=1, 2, …, N；w_i=[w₁, w₂, …, w_N]表示输入层与第i个隐层神经元的权值向量；β_i=[β₁, β₂, …, β_m]^T表示第i个隐层节点到输出层的链接权值；b_i=[b₁, b₂, …, b_m]^T表示第i个隐层节点的偏置，可用矩阵表示如下：

$ \mathit{\boldsymbol{H\beta = T}} $

(2)

其中

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{H}} = \\ {\left[ {\begin{array}{*{20}{c}} {g({w_1} \cdot {x_1} + {b_1})}&{g({w_2} \cdot {x_1} + {b_2})}& \cdots &{g\left( {{w_L} \cdot {x_1} + {b_L}} \right)}\\ {g({w_1} \cdot {x_2} + {b_1})}&{g({w_2} \cdot {x_2} + {b_2})}& \cdots &{g\left( {{w_L} \cdot {x_2} + {b_L}} \right)}\\ \vdots & \vdots &{}& \vdots \\ {g\left( {{w_1} \cdot {x_N} + {b_1}} \right)}&{g\left( {{w_2} \cdot {x_N} + {b_2}} \right)}& \cdots &{g\left( {{w_L} \cdot {x_N} + {b_L}} \right)} \end{array}} \right]_{N \times L}}\\ \mathit{\boldsymbol{\beta }} = \left[ {\mathit{\boldsymbol{\beta }}_1^{\rm{T}}\mathit{\boldsymbol{\beta }}_2^{\rm{T}} \cdots \mathit{\boldsymbol{\beta }}_L^{\rm{T}}} \right]_{L \times m}^{\rm{T}}\\ \mathit{\boldsymbol{T}} = \left[ {\mathit{\boldsymbol{t}}_1^{\rm{T}}\mathit{\boldsymbol{t}}_2^{\rm{T}} \cdots \mathit{\boldsymbol{t}}_L^{\rm{T}}} \right]_{N \times m}^{\rm{T}} \end{array} \right. $

(3)

H表示神经网络的隐层输出矩阵，训练单隐层前馈神经网络可以转化为求解一个线性系统Hβ=T，并且输出权重β被确定方法如下：

$ \mathit{\boldsymbol{\beta }} = \mathit{\boldsymbol{H}}*\mathit{\boldsymbol{T}} $

(4)

H^*是矩阵H由Moore-Penrose的广义逆。由此可知，ELM算法不需要选取输入权值和隐层偏置也不会出现局部最优解的问题。

2 基于混沌系列的自适应粒子群算法 2.1 基本粒子群算法

粒子群(PSO)算法是基于群体演化的随机全局优化的一种智能优化算法，在PSO算法中每个个体称为一个“粒子”，每个粒子代表一个问题的潜在解。假设在一个存有N个粒子的D维空间中，在第k次迭代时粒子的属性分别由位置向量$\mathit{\boldsymbol{x}}_i^k = [\mathit{\boldsymbol{x}}_{i1}^k, \mathit{\boldsymbol{x}}_{i2}^k, ..., \mathit{\boldsymbol{x}}_{id}^k]$、速度向量$\mathit{\boldsymbol{v}}_i^k = [\mathit{\boldsymbol{v}}_{i1}^k, \mathit{\boldsymbol{v}}_{i2}^k, ..., \mathit{\boldsymbol{v}}_{id}^k]$表示，其中，速度的范围限定在[-v_{max, d}, v_{max, d}]内，第i个粒子的速度与位置更新公式如下：

$ \begin{array}{l} \mathit{\boldsymbol{v}}_{id}^{k + 1} = \mathit{\boldsymbol{v}}_{id}^k + {c_1}{r_1}(\mathit{\boldsymbol{pbest}}_{id}^k - \mathit{\boldsymbol{x}}_{id}^k)\\ + {c_2}{r_2}(\mathit{\boldsymbol{gbest}}_{id}^k - \mathit{\boldsymbol{x}}_{id}^k) \end{array} $

(5)

$ \mathit{\boldsymbol{x}}_{id}^{k + 1} = \mathit{\boldsymbol{x}}_{id}^k + \mathit{\boldsymbol{v}}_{id}^{k + 1} $

(6)

其中：pbest_id(i=1, 2, …, n, d=1, 2, …, D)表示粒子的个体最优位置；gbest_id(i=1, 2, …, n, d=1, 2, …, D)表示搜索到的总群体最优位置；c₁、c₂表示粒子自我总结和向群体中优秀个体学习的能力，称为学习因子(又称加速系数)；r₁、r₂是区间[0,  1]内均匀分布的随机数。

2.2 基于混沌序列的自适应全局最优粒子选择 2.2.1 自适应惯性权重与适应度方差

虽然粒子群算法可以很快地收敛到较好的解，但是在处理多峰函数问题时容易出现早熟收敛的问题。为增强粒子跳出局部极值的能力，本文在速度更新时加入惯性系数ω，变化后的公式如下：

$ \begin{array}{l} \mathit{\boldsymbol{v}}_{id}^{k + 1} = \mathit{\boldsymbol{\omega v}}_{id}^k + {c_1}{r_1}(\mathit{\boldsymbol{pbest}}_{id}^k - \mathit{\boldsymbol{x}}_{id}^k)\\ + {c_2}{r_2}(\mathit{\boldsymbol{gbest}}_{id}^k - \mathit{\boldsymbol{x}}_{id}^k) \end{array} $

(7)

$ \mathit{\boldsymbol{\omega }} = ({\mathit{\boldsymbol{\omega }}_{\max }} - {\mathit{\boldsymbol{\omega }}_{\min }}) \times \exp ( - {(\mathit{\boldsymbol{\tau }} \times k/{K_{\max }})^2}) + {\mathit{\boldsymbol{\omega }}_{\min }} $

(8)

其中：ω_max、ω_min分别为最大、最小惯性系数；K_max为最大迭代次数；τ为经验值，一般在[20,  55]内取值。惯性系数一般在初期较大，随着算法迭代次数的增加逐渐减小。通过改变惯性系数的大小，达到不同的搜索效果，随着惯性系数由大到小的变化，算法的性能也在发生改变，由初期的搜索能力较强到后期局部发掘能力的提高。

设f_i为粒子群中第i个粒子的当前适应度值，f_avg为粒子群当前状态下的平均适应度值，σ²为粒子群的群体适应度方差，适应度方差的公式定义如下：

$ \left\{ \begin{array}{l} {\sigma ^2} = \frac{1}{N}\sum\limits_{i = 1}^N {{{\left( {\left( {{f_i} - {f_{avg}}} \right)/f} \right)}^2}} \\ f = \max \left[ {1,\max \left| {{f_i} - {f_{{\rm{avg}}}}} \right|} \right] \end{array} \right. $

(9)

其中σ²反映了粒子群的聚集程度，σ²越小，说明群体越趋于收敛。

2.2.2 混沌序列

混沌是一种无规则的运动状态，遵循确定性规则，其潜在规则是非线性，并且表现出持续的不规则性。它能够使非线性系统在不添加任何随机因子的状态下产生随机性的混沌运动, 可以在一定区域内遍历粒子的每一个状态，并且每个状态只访问一次。混沌序列的这些性质使得基于混沌序列的PSO算法能够有效地避免陷入局部最优解的状态，获得全局最优解，本文使用的混沌方程是Logistic方程，表达式为：

$ {Z_{i + 1}} = \mu {Z_i}\left( {1 - {Z_i}} \right);\mu \in \left( {2,\left. 4 \right]} \right. $

(10)

式中：i=1, 2, …, N；Z_i∈(0, 1)为实数序列；μ为控制参量，当μ=4时，系统处于完全混沌状态。

在PSO算法中，当算法运行到后期时，一些粒子的pbest接近群体的gbest，此时，粒子的运行速度受限，逐渐变慢。随着算法的运行，其他的一些粒子慢慢聚集到这些速度接近零的粒子周围，导致算法过早地收敛到局部最优点。因此，为使粒子跳出局部最优点，通过使用混沌序列帮助这些粒子逃出局部最优点并快速地获得全局最优解。

当算法出现早熟收敛的状况时，位置按如下公式更新：

$ x\left( {t + 1} \right) = x\left( t \right) + {Z_{i + 1}} \times \left( {{x_{\max }} - x\left( t \right)} \right) $

(11)

其中x_max为最大位置变量。

改进后的自适应粒子群优化算法步骤如下：

步骤1   给定训练与测试数据集，在训练前，对数据进行归一化处理。

步骤2  建立基于ACPSO的极限学习机神经网络拓扑结构，设置隐层神经元数目，选中激活函数。

步骤3   产生种群，设置粒子数N，每个粒子设置为[-1, 1]范围内的随机数向量，设置神经元个数及隐层节点数。

步骤4   初始化ACPSO的速度与位置变量，设置种群的个体最优位置pbest、群体最优位置gbest。

步骤5   计算每个粒子的适应度值，先计算网络实际输出，再求期望输出值与实际输出值的均方误差，即得到粒子的适应度值。

步骤6   根据式(6)、(7)更新自适应粒子群的位置和速度。

步骤7   计算种群适应度方差，根据方差值判断算法是否收敛，若收敛则转步骤9;否则转步骤8。

步骤8   根据式(10)、(11)进行混沌搜索，用搜索到的点随机取代粒子群中的一个粒子，然后转步骤5。

步骤9   判断是否达到最大迭代次数：若达到，则停止迭代; 否则转步骤5，继续迭代。

3 算法描述与实验结果

本文为得到分类精度高、泛化性能好和鲁棒性高的分类模型，提出了ACPSO-ELM算法，该算法结合ACPSO算法的高稳定与ELM算法分类速度快、精度高的特点，通过实验对算法性能进行验证。本文从UCI标准分类数据集中选择Breast、Heart、Colon三种基因数据集进行实验，实验由Matlab编程仿真实现。每个数据集如表 1所示：

为验证ACPSO-ELM算法的高效性，本文分别用ELM、PSO-ELM、ACPSO-ELM、DPSO-ELM在Breast、Heart、Colon三种基因数据集采用10次五折交叉验证，即将每个基因数据集分成5份，选取其中4份作为训练数据集，1份作为测试数据集，进行实验，取10次结果精度的平均值作为算法的精度。本文所用实验粒子群的参数设置为N=20，K_max=50，ω_max=0.95，ω_min=0.4，在ACPSO算法中，c₁=c₂=1.5。为进一步比较算法的性能，图 1~3给出了该算法在3种基因数据集上的测试精度对比。

由图 1~3可以看出ELM的分类结果随着迭代次数的增加存在较大的震荡性，实验结果不稳定，加入PSO算法对ELM的参数优化后，从图 1~3可以看出，实验结果不再随迭代次数的增加而大幅度地震荡，说明PSO算法能够有效提高ELM算法的稳定性；同时由图 1~3可知，ELM的分类精度也得到了显著的提高，突出了参数优化的重要性。比较PSO-ELM和DPSO-ELM以及ACPSO-ELM三种算法的分类结果表明，ACPSO-ELM算法相比其他两种算法具有更好的分类精度以及稳定性。

本实验中最大迭代次数设置为50，由表 2可知，基于自适应混沌序列的粒子群优化算法在运行时间上高于其他算法，比较PSO、ACPSO算法可知，由于PSO算法每次迭代过程中粒子群的数量不变，假设第i次迭代时粒子群的数量为N_i，迭代次数为K_max，则每次迭代粒子群数量为N₁=N₂=…=N_Kmax，设每个粒子一次迭代运行时间为T_p，则PSO算法运行总时间为T_p×K_max×N_i，对于ACPSO算法，由于每次迭代过程中，粒子群通过适应度值不断更新，粒子数随着迭代的增加而逐渐减少，所以N₁≥N₂≥…≥N_Kmax, 设每个粒子每次迭代运行时间为T_a，则总运行时间为$\sum\limits_{i = 1}^{{K_{\max }}} {{N_i}} \times {T_a}$。由于本次实验设定迭代次数为50，所以ACPSO-ELM算法相比其他算法运行时间较长。

综上所述，ACPSO-ELM无论在分类精度还是在稳定性、收敛性上都优于ELM，同时对比于PSO-ELM和DPSO-ELM算法，ACPSO-ELM是一种十分可靠、高效的分类算法。

4 结语

针对ELM算法分类精度低、分类不稳定等情况，本文提出了ACPSO-ELM算法，通过ACPSO算法对ELM算法内权参数进行优化，在不同数据集上，与已有算法PSO-ELM, DPSO-ELM比较可知，本文提出的分类算法具有更高的分类精度以及更好的稳定性，由于本实验迭代次数设置较小，因此算法的分类速度相比其他算法较慢。