计算机应用   2017, Vol. 7 Issue (2): 546-552  DOI: 10.11772/j.issn.1001-9081.2017.02.0546
0

引用本文 

周尚波, 王李平, 尹学辉. 分数阶偏微分方程在图像处理中的应用[J]. 计算机应用, 2017, 7(2): 546-552.DOI: 10.11772/j.issn.1001-9081.2017.02.0546.
ZHOU Shangbo, WANG Liping, YIN Xuehui. Applications of fractional partial differential equations in image processing[J]. JOURNAL OF COMPUTER APPLICATIONS, 2017, 7(2): 546-552. DOI: 10.11772/j.issn.1001-9081.2017.02.0546.

基金项目

重庆市基础科学与前沿技术研究(重点)项目(cstc2015jcyjBX0124)

通信作者

周尚波(1963-),男,广西宁明人,教授,博士生导师,博士,主要研究方向:视频与图像处理、人工神经网络、非线性动力学,shbzhou@cqu.edu.cn

作者简介

王李平(1981-),男,河南新乡人,博士研究生,主要研究方向:分数阶偏微分方程、非线性动力学、模式识别、图像重构;
尹学辉(1986-),男,四川广安人,讲师,博士,主要研究方向:分数阶微积分在图像中的应用、非线性动力学

文章历史

收稿日期:2016-08-17
修回日期:2016-09-26
分数阶偏微分方程在图像处理中的应用
周尚波1, 王李平1, 尹学辉2    
1. 重庆大学 计算机学院, 重庆 400030;
2. 重庆邮电大学 软件工程学院, 重庆 400065
摘要: 分数阶偏微分方程在图像处理中的应用已受到了广泛的关注,尤其在图像去噪和图像超分辨率(SR)重建方面,目前的研究成果已显示了分数阶应用的优势与效果。对分数阶微积分在图像处理中的作用进行了分析;介绍并讨论了分数阶偏微分方程在图像去噪和图像超分辨率重建中的相关理论与模型;通过仿真实验表明,基于分数阶偏微分方程的方法在去噪和减少阶梯效应等方面比整数阶偏微分方程更具有优势;最后指出了未来的相关研究问题。
关键词: 分数阶偏微分方程    图像去噪    超分辨率图像重建    
Applications of fractional partial differential equations in image processing
ZHOU Shangbo1, WANG Liping1, YIN Xuehui2     
1. College of Computer Science, Chongqing University, Chongqing 400030, China;
2. School of Software Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
Abstract: It has been widely concerned to apply fractional partial differential equations in image processing, especially in the image denoising and image Super Resolution (SR) reconstruction. The current research results have shown the advantages and effects of fractional order applications. The theory and model of fractional partial differential equations in image denoising and image super-resolution reconstruction were introduced and discussed. The simulation results show that the methods based on fractional partial differential equations has more advantages than the methods based on integer order partial differential equations in terms of denoising and reducing the staircase effect. Finally, the related research problems were pointed out.
Key words: fractional partial differential equation    image denoising    super-resolution image reconstruction    
0 引言

图像是人类获取外界信息的重要通道,扮演着人类活动中的重要角色。然而,由于图像在成像、采集、传输等处理过程中受各种因素的影响,往往会出现图像内容的质量下降、细节特征被淹没,从而视觉效果不佳等现象。为了提高图像质量,在不同的应用场景需要对图像进行不同的处理,有时需要对图像进行降噪操作,有时需要对图像进行超分辨率(Super Resolution,SR)重建。图像去噪和图像超分辨率重建是图像理解、图像识别的基础工作,也是图像理解后续工作的关键步骤。

目前图像重建的方法大致分为四类:基于小波等理论的多尺度建模、基于稀疏表示的方法、基于概率统计学的随机建模以及基于变分和偏微分方程的方法。其中,基于整数阶的偏微分方程模型在图像重建研究中取得了较好的研究成果[1-6],此类方法中最为著名的是全变分(Total Variation,TV)正则化模型[7],通过变分法得到Euler方程来求解泛函的极小值,在去除图像噪声的同时,较好地保留了图像的边缘信息。然而由于建模空间和函数空间的问题,处理后的图像中容易产生“阶梯效应”和部分纹理信息丢失的现象。为了缓解“阶梯效应”,一些学者提出了高阶的变分模型[8-14],这些改进方法虽然能缓解“阶梯效应”和保持图像边缘,但是会在处理后的图像产生“斑点效应”。为了权衡“阶梯效应”和“斑点效应”,Zhang等[15]提出了基于分数阶的变分模型,用分数阶梯度代替整数阶梯度。

分数阶微积分理论的建立距今已经有300多年的历史,但直到20世纪后半叶,才受到工程领域技术人员的关注。目前分数阶微积分仍没有统一的定义形式,比较著名的有空域中的定义[16]形式:Riemamann-Liouville(R-L)定义、Caputo定义、Grunwald-Letnikov (G-L)定义和频域中基于傅里叶变换的定义形式[17]。从信息论的角度看,分数阶微分的物理意义可以理解为广义的调幅调相,其振幅随频率呈分数阶幂指数变化,相位是频率的广义Hilbert变换[18]。在图像处理中,整数阶的微分算子基本上只适合处理图像中高频变化的成分,不具有处理非连续边界点且有低频变化特性细节的能力。而图像中丰富表面纹理细节属于中低频成分,整数阶微分算子不能较好地处理。研究表明,当微分分数阶v处在0 <v<1范围时,信号中高频成分的幅度得到了足够的提升,中频成分也有所加强,低频、甚低频成分得到了非线性保留。图像中的平滑区域对应于信号的低频部分,图像中纹理区域对应于信号的中频部分,而图像中的边缘或者噪声区域对应于信号的高频部分。也就是说,利用阶数为0<v<1的分数阶微分算子处理图像,既可以较好地处理图像中的噪声或边缘信息,亦可以加强图像中的纹理等细节信息,还可以保留图像中的平滑区域的信息。此外,文献[19]在研究人类视网膜神经节细胞感受野的数学模型后发现,分数阶微分的感受野模型更加符合人类视觉感知特性[20],在处理图像纹理时,分数阶导数比整数阶导数更加精细、准确。故将分数阶微积分引入到变分和偏微分方程的图像重建模型中,既能解决传统方法存在的问题,又能进一步应用到深层次的图像分割、修复和压缩等领域。

目前,国内外的一些学者基于分数阶偏微分方程图像处理技术在以下领域发表了一些研究成果:图像去噪[21-25]、图像增强[26-28]和超分辨率图像重建[29-33]。虽然分数阶偏微分方程在图像处理领域已取得了一些研究成果,但分数阶偏微分方程在图像处理领域的应用研究还处于起步阶段,很有必要作进一步深入研究和探索。

1 分数阶偏微分方程在图像处理中的应用 1.1 分数阶偏微分方程概念

整数阶偏微分方程是指微分方程中出现的未知函数只含有一个自变量,如果该微分方程中出现了多元函数的偏导数,或者说未知函数和几个自变量相关,且方程中出现未知函数对应几个自变量的导数的微分方程,例如下面的包含有未知函数及其偏导数的等式,即是偏微分方程:

$\frac{\partial \mathit{\boldsymbol{u}}}{\partial t}-{{a}^{2}}(\frac{{{\partial }^{2}}\mathit{\boldsymbol{u}}}{\partial {{x}^{2}}}+\frac{{{\partial }^{2}}\mathit{\boldsymbol{u}}}{\partial {{y}^{2}}}\rm{ })=0$

分数阶偏微分方程即是整数阶偏微分方程的推广,即偏微分方程中的偏导数为任意的正数。例如下面的方程即是分数阶(阶数v可为任意正数)偏微分方程:

$\frac{\partial \mathit{\boldsymbol{u}}}{\partial t}-a(\nabla _{x}^{v}\mathit{\boldsymbol{u}}+\nabla _{y}^{v}\mathit{\boldsymbol{u}})=0$

偏微分方程的获取一般有两种方法:高斯平滑算子导出和变分方法导出。高斯平滑算子导出的偏微分方程的经典方程有Perona和Malik[34]提出的各向异性扩散模型(也称PM模型);从最优化问题出发,即由变分方法导出的偏微分方程的代表方程有Rudin等[7]提出的全变分(TV)正则化模型。当前基于偏微分方程的图像处理模型主要分为两类:一类是基于流体扩散理论的扩散方程的方法;另一类是基于变分法优化某个能量泛函的方法。

由高斯平滑算子导出的偏微分方程的过程相对简单,高斯滤波导出热传导方程即是偏微分方程。而变分图像重建方法需要通过引入能量函数,将图像重建问题转化成泛函求极值问题,主要步骤有:1) 从物理问题上建立泛函及其约束条件;2) 通过泛函变分,求得欧拉方程;3) 引入时间变量,利用边界条件建立解微分方程并求解之。

1.2 图像去噪

虽然PM模型和TV模型在去噪的同时能较好地保留图像的边缘信息[35],但是在处理后的图像中会产生“阶梯效应”。正是因为分数阶微积分在图像处理时表现出来的特性:能较好地处理图像中的高、中和低频成分,所以许多学者将分数阶引入到了图像处理的模型中,得到了较好的处理效果。

由于PM模型扩散函数存在病态性的不足,容易使处理后的图像产生阶梯效应,从而造成图像质量下降,因此学者们对PM模型进行了许多改进。 文献[21-22, 34-38]从减少重建后图像中的“阶梯效应”和保持图像中的结构信息出发,利用分数阶微积分能较好地处理图像中非局部信息的特性[29],提出了不同的分数阶偏微分方程的图像去噪模型。文献[21]为解决基于传统整数阶偏微分方程的去噪模型中的“阶梯效应”、“斑点效应”和纹理细节丢失等问题,采用分数阶微积分和差分曲率的概念来描述图像的强度变化。图像的分数阶导数信息可以很好地处理图像中的纹理信息,在消除斑点效应和抑制阶梯效应之间取得了较好的折中[11, 17]。再者,为了有效地区分斜坡和边缘,文献[21]沿图像的梯度方向和垂直于梯度的二阶导数构造了差分曲率。该模型有效地消除了斑点效应和阶梯效应,同时还更好地保留了图像中的边缘等纹理信息。

文献[22]中提出了一种基于分数阶各向异性扩散自适应p-Laplace方程的图像去噪模型,取得了良好的去噪性能。该方法引入了分数阶的扩散因子,以实现由分数阶梯度和分数阶等照度线的曲率共同自适应地控制能量优化。通过引入p因子,构造分数阶能量泛函

$E\left( \mathit{\boldsymbol{u}} \right)=\frac{1}{p\left( \left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right| \right)}\int\limits_{\mathit{\Omega }}{g\left( {{\left| {{D}^{\alpha }}\mathit{\boldsymbol{u}} \right|}^{p\left( \left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right| \right)}} \right)\rm{d}\mathit{\Omega }}$

经变分法变换,利用伴随算子的概念,可以得到其对应的欧拉方程:

$\begin{align} & EL(\mathit{\boldsymbol{u}},p)\triangleq D_{x}^{\upsilon *}\left( c\left( {{\left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right|}^{2p\left( \left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right| \right)}} \right)\frac{D_{x}^{\upsilon }\mathit{\boldsymbol{u}}}{{{\left| {{D}^{\alpha }}u \right|}^{1-2p\left( \left| {{D}^{\alpha }}\mathit{\boldsymbol{u}} \right| \right)}}} \right) \\ & \rm{ }+D_{y}^{\upsilon *}\left( c\left( {{\left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right|}^{2p\left( \left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right| \right)}} \right)\frac{D_{y}^{\upsilon }\mathit{\boldsymbol{u}}}{{{\left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right|}^{1-2p\left( \left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right| \right)}}} \right)=0 \\ \end{align}$

从而将泛函极小问题就转化成了如下非线性微分方程的求解问题:$\frac{\partial \mathit{\boldsymbol{u}}}{\partial t}=-EL(\mathit{\boldsymbol{u}},p)$ 。式中分数阶扩散因子$p=1+\frac{cur{{v}^{\upsilon }}}{cur{{v}^{\upsilon }}+\left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right|}$, $cur{{v}^{\upsilon }}=di{{v}^{\upsilon }}(\frac{{{D}^{\upsilon }}\mathit{\boldsymbol{u}}}{\left| {{D}^{\upsilon }}\mathit{\boldsymbol{u}} \right|})$

这里需要特别强调的是,在变分法的应用上,与整数阶的分部积分不同,在对于分数阶问题经变分法变换后,需要利用伴随算子的概念导出欧拉方程,因而伴随算子的求解是一个关键的问题。

以上自适应p-Laplace模型之所以能较好地减少阶梯效应和保持图像结构,主要具有以下几点特性[38]

1) 当p固定时,分数阶曲率与分数阶梯度成正比。①当分数阶曲率趋于零时,即等照度线接近直线时,或分数阶梯度趋于无穷大时,分数阶扩散因子p趋近1,这时仅沿边缘方向扩散,而在梯度方向不扩散;②当分数阶曲率趋近无穷大时,分数阶扩散因子p趋近于2,这时沿等照度线方向和梯度方向的扩散率相同。

2) 当等照度线的分数阶曲率相等而分数阶梯度不等时,等照度线的分数阶曲率为定值。越靠近图像边缘区域,分数阶的梯度也就越大,分数阶扩散因子就越小;反过来,越靠近图像平坦区域,分数阶的梯度也就越大,分数阶扩散因子就越小。

3) 当分数阶梯度相等而等照度线的分数阶曲率不等时,分数阶梯度为定值。等照度线的分数阶曲率越大,分数阶扩散因子就越大;反过来,等照度线的分数阶曲率越小,分数阶扩散因子就越小。

针对纹理细节等问题,由于图像中的局部结构复杂多样,仅仅以图像的梯度来刻画或者描述图像特征,是远远不够的。因为图像中的角点、纹理等信息,梯度往往不能有效地刻画。文献[39-46]将结构张量(Structure Tensor,ST)引入到了图像处理中,在图像处理和计算机视觉领域作出了突出贡献。具有矩阵形式的结构张量,其特征值表示设定窗口内灰度的变化情况,通过其特征值的某种特定表达方式,结构张量能区分图像中不同的区域特征,如纹理、边缘、角点和T型结构等。根据电报扩散方程与图像结构密切相关的特性[47],文献[38]将结构张量和分数阶微积分结合起来,并引入到电报扩散方程中,提出了基于一种分数阶结构张量的分数阶电报扩散方程图像结构保持的去噪模型。基于分数阶结构张量的分数阶电报扩散方程图像去噪模型为:

$\frac{{{\partial }^{2}}\mathit{\boldsymbol{u}}}{\partial {{t}^{2}}}+\lambda \frac{\partial \mathit{\boldsymbol{u}}}{\partial t}-di{{v}^{\upsilon }}\left( {{D}_{\upsilon }}\left( {{S}_{\rho }}\left( {{\nabla }^{\upsilon }}{{\mathit{\boldsymbol{u}}}_{\sigma }} \right) \right){{\nabla }^{\upsilon }}\mathit{\boldsymbol{u}} \right)=0$

此处Sρ即为引入的加窗后的分数阶结构张量。分数阶结构张量Sv有两个非负特征值μ1μ2,它们对应的相互正交的特征向量命名为ν1ν2。假设μ2μ1≥0,则Sv的特征向量ν1表明了局部结构的主导方向,ν2则垂直于图像的边缘,而特征值表明了对应特征向量所指方向上的灰度对比度。二维图像的连贯性度量由(μ1-μ2)2表征,角点度量用μ1(μ2-μ1)/μ2表示,结构张量的迹能表征该点的张量度量γ,且张量度量与分数阶梯度度量之间有较强的对应关系:γ=trace(Sv)=μ1+μ2。图像的角点一般是连贯性不强的点,即具有大梯度幅值特性或张量度量比较大的点。

1) 当μ1μ2≈0时,表示此图像在该点附近沿任意方向的灰度值变化都比较小,也即图像平坦区域的特征,其张量度量γ=μ1+μ2和连贯性(μ1-μ2)2都很小;2) 当μ2$\gg $μ1≈0时,此时的图像沿某一方向的变化率远大于垂直于此方向上的变化率,表明在此局部的灰度值呈现出较强的方向连贯性,具有较大的张量度量和较大的方向连贯性;3) 当μ2μ1$\gg $0时,表示图像在两个互相垂直的方向上的灰度值变化都比较大,这时图像存在拐点或棱角,即张量度量大。可见基于分数阶结构张量的电报扩散模型能较好地处理图像的局部结构特征。

目前诸多文献中提出的模型是处理灰度图像的,针对彩色图像也有研究成果。文献[48]提出了基于分数阶偏微分方程的彩色图像去噪算法。作者首先采用四元数矩阵表示彩色图像,在进行图像处理操作时将彩色图像视为一个统一的整体,以避免RGB三通道分开处理时产生的失真;然后采用分数阶微分算子可以有效地抑制阶梯效应或孤立点,还可以大幅提升边缘和纹理细节等信息。

1.3 超分辨率重建

图像超分辨率重建是指利用计算机技术将具有低分辨率(Low Resolution,LR)的一幅图像或者图像序列进行处理,恢复出高分辨率图像(High Resolution,HR)的过程。常规的线性插值放大法通常在放大后的图像中产生“块效应”或“锯齿状效应”,影响视觉和图像识别。这是因为图像的几何特性(梯度、曲率、张量等)没有得到较好的拟合。将偏微分方程引入到图像超分辨率重建中,是因为图像的几何特性对偏微分方程起到了重要的驱动作用。基于偏微分方程的图像超分辨率重建过程一般分为两个步骤: 1) 对低分辨率图像进行线性插值放大操作; 2) 利用偏微分方程对放大后的图像进行校正,从而达到去除“阶梯效应”或“块效应”等现象。图像去噪的许多模型可用于超分辨率重建,但超分辨率重建有其着重考虑的问题。

“块效应”是超分辨率重建中需要解决的主要问题之一。为了减少或者降低放大后图像中的“块效应”,文献[29, 49]提出了分数阶总变分的图像超分辨率重建模型。该重建模型包含了三个部分:整数阶的总变分项、分数阶的总变分项和数据保真项。整数阶的总变分项具有保持不连续性和图像结构,分数阶的总变分项可以很好地处理图像中的纹理等非局部信息。该方法在一定程度上减少了图像中的“阶梯边缘”和假边缘现象。能量泛函最终由下面的偏微分方程来求解:

$\begin{align} & \frac{\partial \mathit{\boldsymbol{u}}(x,t)}{\partial t}=-\left[ D_{x}^{v*}\left( \frac{D_{x}^{v}\mathit{\boldsymbol{u}}}{\left| {{D}^{v}}\mathit{\boldsymbol{u}} \right|} \right)+D_{y}^{v*}\left( \frac{D_{y}^{v}\mathit{\boldsymbol{u}}}{\left| {{D}^{v}}\mathit{\boldsymbol{u}} \right|} \right) \right]+ \\ & \beta div\left( \frac{\nabla \mathit{\boldsymbol{u}}}{\left| \nabla \mathit{\boldsymbol{u}} \right|} \right)-\alpha {{\mathit{\boldsymbol{H}}}^{\rm{T}}}\left( \mathit{\boldsymbol{Hu}}-\mathit{\boldsymbol{f}} \right) \\ \end{align}$

模型右边依次为分数阶的总变分项、整数阶的总变分项和数据保真项。

Wang等[33]从研究如何减少重建图像中的阶梯效应及偏微分方程的快速收敛出发,提出了基于同伦正则化的分数阶偏微分方程的图像放大模型对应的偏微分方程:

$\begin{align} & \frac{\partial \mathrm{u}(x,t)}{\partial t}=-{{\mathrm{R}}^{*}}(\mathrm{Ru}-\mathrm{f})-\lambda (\mathrm{u}-{{\mathrm{u}}_{0}})- \\ & \left( D_{x}^{{{v}^{*}}}\left( \frac{\nabla _{x}^{v}\mathrm{u}}{|{{\nabla }^{v}}\mathrm{u}|} \right)+D_{y}^{{{v}^{*}}}\left( \frac{\nabla _{y}^{v}\mathrm{u}}{|{{\nabla }^{v}}\mathrm{u}|} \right) \right) \\ \end{align}$

文中采用了不动点同伦方程算法对偏微分方程进行了求解。原能量模型中的∫Ω|∇vu|dxdy项保证方程的良态和有效处理非局部纹理信息;‖u-u022充分利用了同伦方法大规模收敛的特性,使得该方程能快速收敛;‖Ru-f22确保重建后的图像保持原有图像的结构。该模型能在保证有效减少阶梯效应和去除噪声的情况下,使方程快速地收敛。

细节信息的保留也是超分辨率重建需要考虑的问题。Chen等[30]为了克服传统TV模型不能保持细节和纹理信息的不足并重建这些细节信息,提出了二维压缩感知稀疏图像重建模型。该模型引入了分数阶TV正则项,此外,为了实现弹性的稀疏表示,将离散小波变换和曲线波变换正则项相结合而引入到代价函数中,并提出了估计正则参数的方法。文献[31]从如何增强图像中的随机纹理信息出发,提出了基于分数阶布朗运动的偏微分方程的超分辨率图像重建模型。这是一个基于全局的、且不需要使用图像修补程序的模型。分数阶布朗运动是自相似的随机过程,而自相似可以显著地表征自然纹理信息,所以文献[31]中提出的模型在放大图像的同时可以有效地增强图像中的纹理信息。

本节主要讨论了基于分数阶偏微分方程的图像去噪与超分辨率重建模型。当模型建立之后,就是如何求解偏微分方程。目前分数阶偏微分方程的求解方法大概有以下几种:有限差分法[51-54]、隐式差分法[55]、加权平均有限差分法[56]、Adomain分解法[57]等。在构造差分离散算法时,需要考虑时间步长,以确保算法的求解精度与收敛性。此外,基于分数阶的偏微分方程的解的存在性和唯一性的证明和讨论,不是本文的重点,详细讨论可参考文献[22, 29, 58-61]。

2 仿真实验

针对前面介绍的去噪算法和图像超分辨率重建算法,下面将通过几组实验来比较基于分数阶的算法和基于整数阶的算法的实验结果。在仿真去噪算法时,使用的客观评价标准是峰值信噪比(Peak Signal-to-Noise Ratio,PSNR),值越大,说明效果越好;在仿真图像超分辨率重建时,使用的评价标准为结构相似性(Structural Similarity Index,SSIM),同样是值越大,图像的相似度越高,效果越好。

1) 使用1.2节中介绍的分数阶p-laplace和分数阶张量去噪算法与参考文献[17, 22, 31, 38, 59-61]中的算法进行比较。在图像Barbara、Linfa、Baboon和Elaine四张图像中分别添加噪声标准差为10、20、30的高斯白噪声进行实验,计算去噪后的图像和原始图像之间的PSNR值,实验结果表 1所示。表 1中后三个算法是基于分数阶的去噪算法,可以明显看到,它们计算得到的PSNR值比其他基于整数阶的去噪算法计算得到的PSNR值大,说明基于分数阶的去噪算法相比其他几个基于整数阶的去噪算法在去噪效能上更具优势。

表 1 各算法在去噪后计算的PSNR值  dB Table 1 PSNR values computed after different algorithms denoising  dB

2) 在图像超分辨率重建的仿真实验中,先将图像缩小为原始图像大小的1/3,然后采用1.3节中介绍的基于分数阶的图像超分辨率重建的算法[29, 33]与最近邻插值(Nearest Neighbor Interpolation,NNI)算法、全变分(TV)算法[66]、分数阶的Bidirectional(Fractional Bidirectional,FB)算法[49]和基于边缘先验(Edge Prior,EP)的算法[65]对缩小后的低分辨率图像进行放大,计算放大后的图像与原始图像之间的SSIM值。分别对Parrot、Girl、Fingerprint、Tree、Leaves、Elaine、Lena、Peppers这8张图像放大3倍时计算的结构相似性的值,如表 2所示。从表 2可以看出,在放大相同倍数时,文献[29]和[33]中的基于分数阶的图像超分辨率重建算法比实验中的其他算法计算得到的SSIM值要大,也即这两种算法重建后的图像与真实图像相似度更高。

表 2 各算法在放大后计算的SSIM值 Table 2 SSIM values calculated by each algorithm after amplification
3 存在的问题及发展方向 3.1 当前模型存在的问题与不足

虽然分数阶偏微分方程在图像处理领域取得了初步成果,但相对来说仍处于初级阶段,存在不少的问题。

1) 目前基于分数阶的偏微分方程的去噪模型中,大多都是针对图像中的高斯白噪声进行研究的,针对乘性噪声的研究较少;再者,针对灰度图像的算法较多,虽然也有少数可以处理彩色图像的模型,但是也是将彩色图像的各个通道分开单独处理,没有一个完善的直接同时处理三通道的算法。

2) 在对分数阶微积分的数值实现上,目前主要是基于模板和傅里叶变换两种方式。基于模板的方式是一种近似计算,在计算时肯定会有误差;基于傅里叶变换的方式在计算时为了避免出现复数成分,会对原始图像进行周期延拓,从而增加了计算量。找到一种在计算时既能不会产生误差,又不增加计算量的通用实现算法是需要更进一步研究的内容。

3) 变分模型中正则化参数的选择有些是针对全局特征的,有些是针对局部特征的。事实上这些方案只针对部分特征自适应,并不完美,针对图像的不同特征区域自适应选取不同的正则化参数,这是以后研究的主要内容之一。

4) 目前基于分数阶的偏微分方程大多是基于图像去噪和超分辨率图像重建提出的,事实上很多后期的图像处理都利用了图像降噪和放大模型的理论和算法,因此将分数阶偏微分方程进一步推广用到图像分割、图像融合和图像修复等领域,有很好的应用前景。

3.2 下一步的研究方向

由于存在如上分析的问题,且分数阶偏微分方程与小波理论、黎曼流形等数学概念的结合还存在较大的研究空间,因此需要进一步深入研究。

1) 新算子的构造。目前文献中提出的模型分别是针对图像的不同局部结构特征保持的模型,事实上,可以引入一种通用的图像结构描述算子,以更全面完整地刻画图像局部特征信息,这种通用的图像结构描述算子包含多种图像线索,诸如图像灰度值,一阶、二阶以及分数阶图像梯度,分数阶结构张量、纹理信息,曲率(包括高斯曲率、平均曲率和差分曲率)等,使用逐像素的协方差矩阵来描述图像局部区域内多个图像线索的相关性,形成黎曼流形上的模型框架,具有较大的研究前景。

2) 算子融合。小波等多尺度分析、随机分析、非局部算子、稀疏表示等在图像处理的方面都有各自的非凡优越性,将它们各自的优势与分数阶偏微分方程理论结合起来,建立相应理论体系,不仅在图像去噪方面具有广阔的前景,而且还能开拓出若干新的研究领域,如图像压缩、图像融合、图像分割等,也是进行后续研究的重点。

3) 阶数的选取。对于一般或特定的图像,如何选择阶数才能使模型的整体性能或局部效果达到最优,包括阶数的自适应选择,甚至推广到复数阶的情形。这是整数阶不存在的问题,但却是分数阶能灵活应用的一个优势。

4) 模型融合。各种模型均具有一定的优势,比如对于图像超分辨率重建问题,有些模型或算法能够很好地处理纹理细节问题,有些则可以很好地消除阶梯效应,如何将这些模型进行融合,得到整体性能比较良好的新模型,是一个值得研究的问题,其中包括中立型模型应用。

5) 模型的近似求解与收敛性。对于分数阶模型,由于分数阶没有统一的定义,但所有定义均为广义积分的形式,因而求其数值会存在量化上的误差;对于稳定的微分方程,其数值解的模型不一定稳定,如果求解算法不稳定或不收敛,则就会产生诸如算法到底要迭代多少次为最好等问题。因而如何构造有效的数值算法也是值得研究的课题。

6) 频域模型。将分数阶微分模型变换到频域上进行处理,这方面的研究还不多见。

4 结语

分数阶偏微分方程在图像处理领域已经取得了初步研究成果,主要集中在研究图像去噪和图像超分辨率重建领域。本文介绍了分数阶微积分和图像特征之间的关系:分数阶微积分可以有效地保留甚低频信号,中频信号有所增强,高频信号明显增强。进而分析了分数阶偏微分方程在图像去噪和图像超分辨率重建中的作用,重点分析了一些模型,并讨论了分数阶偏微分方程解的存在唯一性、稳定性及数值解问题,最后指出了目前模型存在的优缺点,并对应用前景进行了讨论与分析。

参考文献
[1] BUADES A, COLL B, MOREL J-M. A review of image denoising algorithms, with a new one[J]. SIAM Journal on Multiscale Modeling & Simulation, 2005, 4 (2) : 490-530.
[2] CHAN T F, ESEDOGLU S, PARK F, et al. Recent developments in total variation image restoration[M]. Berlin: Springer-Verlag, 2005 : 1 -18.
[3] AUBERT G, KORNPROBST P. Mathematical Problems in Image Processing:Partial Differential Equations and the Calculus of Variations[M]. Berlin: Springer-Verlag, 2006 : 213 -222.
[4] MILANFAR P. A tour of modern image filtering[EB/OL].[2016-06-15]. https://users.soe.ucsc.edu/~milanfar/publications/journal/ModernTour_FinalSubmission.pdf.
[5] MILANFAR P. A tour of modern image filtering:new insights and methods, both practical and theoretical[J]. IEEE Signal Processing Magazine, 2013, 30 (1) : 106-128. doi: 10.1109/MSP.2011.2179329
[6] 王大凯, 侯榆青, 彭进业. 图像处理的偏微分方程方法[M]. 北京: 科学出版社, 2008 : 141 -159. ( WANG D K, HOU Y Q, PENG J Y. Partial Differential Equation Method for Image Processing[M]. Beijing: Scicence Press, 2008 : 141 -159. )
[7] RUDIN L I, OSHER S, FATEMIN E. Nonlinear total variation based noise removal algorithms[J]. Physica D:Nonlinear Phenomena, 1992, 60 (1/2/3/4) : 259-268.
[8] CHAN T, MARQUINA A, MULET P. High-order total variation-based image restoration[J]. SIAM Journal on Scientific Computing, 2000, 22 (2) : 503-516. doi: 10.1137/S1064827598344169
[9] DIDAS S. Higher Order Variational Methods for Noise Removal in Signals and Images[D]. Saarbrücken, Germany:Saarland University, 2004:29-42.
[10] CHAN T F, ESEDOGLU S, PARK F. A fourth order dual method for staircase reduction in texture extraction and image restoration problems[C]//ICIP 2017:Proceedings of 201017th IEEE International Conference on Image Processing. Piscataway, NJ:IEEE, 2010:4137-4140.
[11] LIU X, HUANG L, GUO Z. Adaptive fourth-order partial differential equation filter for image denoising[J]. Applied Mathematics Letters, 2011, 24 (8) : 1282-1288. doi: 10.1016/j.aml.2011.01.028
[12] LYSAKER M, TAI X-C. Iterative image restoration combining total variation minimization and a second-order functional[J]. International Journal of Computer Vision, 2006, 66 (1) : 5-18. doi: 10.1007/s11263-005-3219-7
[13] LI F, SHEN C, FAN J, et al. Image restoration combining a total variational filter and a fourth-order filter[J]. Journal of Visual Communication and Image Representation, 2007, 18 (4) : 322-330. doi: 10.1016/j.jvcir.2007.04.005
[14] LYSAKER M, LUNDERVOLD A, TAI X-C. Noise removal using fourth-order partial differential equation with applications to medical magnetic resonance images in space and time[J]. IEEE Transactions on Image Processing, 2003, 12 (12) : 1579-1590. doi: 10.1109/TIP.2003.819229
[15] ZHANG J, WEI Z. A class of fractional-order multi-scale variational models and alternating projection algorithm for image denoising[J]. Applied Mathematical Modelling, 2011, 35 (5) : 2516-2528. doi: 10.1016/j.apm.2010.11.049
[16] 郭柏灵, 蒲学科, 黄凤辉. 分数阶偏微分方程及其数值解[M]. 北京: 科学出版社, 2011 : 198 -200. ( GUO B L, PU X K, HUANG F H. Fractional Partial Differential Equations And Their Numerical Solutions[M]. Beijing: Science Press, 2011 : 198 -200. )
[17] BAI J, FENG X-C. Fractional-order anisotropic diffusion for image denoising[J]. IEEE Transactions on Image Processing, 2007, 16 (10) : 2492-2502. doi: 10.1109/TIP.2007.904971
[18] 杨柱中, 周激流, 黄梅, 等. 基于分数阶微分的边缘检测[J]. 四川大学学报(工程科学版), 2008, 40 (1) : 152-157. ( YANG Z Z, ZHOU J L, HUANG M, et al. Edge detection based on fractional differential[J]. Journal of Sichuan University (Engineering Science Edition), 2008, 40 (1) : 152-157. )
[19] RODIECH R W. Quantitative analysis of cat retinal ganglion cell response to visual stimuli[J]. Vision Research, 1965, 5 (12) : 583-601. doi: 10.1016/0042-6989(65)90033-7
[20] 蒲亦非.分数阶微积分在现代信号分析与处理中应用的研究[D].成都:四川大学,2006:14. ( PU Y F. Research on application of fractional calculus to latest signal analysis and processing[D]. Chengdu:Sichuan University, 2006:14. )
[21] YIN X, ZHOU S. Image structure-preserving denoising based on difference curvature driven fractional nonlinear diffusion[J]. Mathematical Problems in Engineering, 2015, 2015 : Article ID 930984.
[22] YIN X H, ZHOU S B, SIDDIQUE M A. Fractional nonlinear anisotropic diffusion with p-Laplace variation method for image restoration[J]. Multimedia Tool and Applications, 2016, 75 (8) : 4505-4526. doi: 10.1007/s11042-015-2488-6
[23] ZHANG W, LI J, YANG Y. Spatial fractional telegraph equation for image structure preserving denoising[J]. Signal Processing, 2015, 107 : 368-377. doi: 10.1016/j.sigpro.2014.04.015
[24] TIAN D, XUE D, WANG D. A fractional-order adaptive regularization primal-dual algorithm for image denoising[J]. Information Sciences, 2015, 296 : 147-159. doi: 10.1016/j.ins.2014.10.050
[25] 黄果, 许黎, 陈庆利, 等. 基于时间-空间分数阶偏微分方程的图像去噪模型[J]. 系统工程与电子技术, 2012, 34 (8) : 1741-1752. ( HUANG G, XU L, CHEN Q L, et al. Research on image denoising based on time-space fractional partial differential equations[J]. Systems Engineering and Electronics, 2012, 34 (8) : 1741-1752. )
[26] SHKVARKO Y V, TUXPAN J, SANTOS S R. l2-l1 structured descriptive experiment design regularization based enhancement of fractional SAR imagery[J]. Signal Processing, 2013, 93 (12) : 3553-3566. doi: 10.1016/j.sigpro.2013.03.024
[27] 张鑫, 王卫星, 张元方, 等. 基于分数阶微分及改进Retinex的模糊航空图像增强[J]. 计算机应用研究, 2015, 32 (9) : 2844-2848. ( ZHANG X. WANG W X, ZHANG Y F, et al. Vague aerial image enhancement on fractional differential and improved Retinex[J]. Application Research of Computers, 2015, 32 (9) : 2844-2848. )
[28] 牛金龙, 周激流. 基于分数阶图像增强的P-M模型[J]. 通信技术, 2010, 43 (2) : 74-76. ( NIU J L, ZHOU J L. P-M diffusion model based on fractional-order image enhancement[J]. Communications Technology, 2010, 43 (2) : 74-76. )
[29] REN Z, HE C, ZHANG Q. Fractional order total variation regularization for image super-resolution[J]. Signal Processing, 2013, 93 (9) : 2048-2421.
[30] CHEN G, ZHANG J, LI D. Fractional-order total variation combined with sparsifying transforms for compressive sensing sparse image reconstruction[J]. Journal of Visual Communication and Image Representation, 2016, 38 : 407-422. doi: 10.1016/j.jvcir.2016.03.018
[31] ZACHEVSKY I, ZEEVI Y Y. Single-image super resolution of natural stochastic textures based on fractional Brownian motion[J]. IEEE Transactions on Image Processing, 2014, 23 (5) : 2096-2108. doi: 10.1109/TIP.2014.2312284
[32] WANG L P, ZHOU S B, AWUDU K. Image zooming technique based on the split Bregman iteration with fractional order variation regularization[J]. The International Arab Journal of Information Technology, 2016, 13 (6A) : 944-950.
[33] WANG L, ZHOU S, AWUDU K. Super-resolution image reconstruction method using homotopy regularization[J]. Multimedia Tools and Applications, 2016, 75 (23) : 15993-16016.
[34] PERONA P, MALIK J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12 (7) : 629-639. doi: 10.1109/34.56205
[35] YOU Y-L, XU W, TANNENBAUM A, et al. Behavioral analysis of anisotropic diffusion in image processing[J]. IEEE Transactions on Image Processing, 1996, 5 (11) : 1539-1553. doi: 10.1109/83.541424
[36] GUIDOTTI P, LAMBERS J V. Two new nonlinear nonlocal diffusions for noise reduction[J]. Journal of Mathematical Imaging and Vision, 2009, 33 (1) : 25-37. doi: 10.1007/s10851-008-0108-z
[37] JANEV M, PILIPOVI ĆS, ATANACHOVIC T, et al. Fully fractional anisotropic diffusion for image denoising[J]. Mathematical and Computer Modelling, 2011, 54 (1/2) : 729-741.
[38] 尹学辉.基于分数阶PDE的图像结构保持型去噪算法研究[D].重庆:重庆大学,2015:21-99. ( YIN X H. Research on fractional-order PDE based image structure-preserving denoising algorithms[D]. Chongqing:Chongqing University, 2015:21-99. )
[39] ZENZO S D. A note on the gradient of a multi-image[J]. Computer Vision, Graphics, and Image Processing, 1986, 33 (1) : 116-125. doi: 10.1016/0734-189X(86)90223-9
[40] FÖRSTNER W, GVLCH E. A fast operator for detection and precise location of distinct points, corners and centres of circular features[C]//Proceedings of the 1987 ISPRS Intercommission Conference on Fast Processing of Photogrammetric Data. Interlaken, Switzerland:[s.n.], 1987:281-305.
[41] WEICKERT J. Anisotropic Diffusion in Image Processing[M]. Teubner-Verlag, Stuttgart, Germany: B. G. Teubner Stuttgart,, 1998 : 56 .
[42] WEICKERT J, SCHNÖRR C. A theoretical framework for convex regularizers in PDE-based computation of image motion[J]. International Journal of Computer Vision, 2001, 45 (3) : 245-264. doi: 10.1023/A:1013614317973
[43] WEICKERT J. Anisotropic diffusion filters for image processing based quality control[C]//Proceedings of the 7th European Conference on Mathematics in Industry. Teubner, Stuttgart:[s.n.], 1994:355-362.
[44] LEFKIMMIATIS S, ROUSSORS A, MARAGOS P, et al. Structure tensor total variation[J]. SIAM Journal of Imaging Sciences, 2015, 8 (2) : 1090-1122. doi: 10.1137/14098154X
[45] LEFKIMMIATIS S, OSHER S. Non-local structure tensor functionals for image regularization[J]. IEEE Transactions on Computational Imaging, 2015, 1 (1) : 16-29. doi: 10.1109/TCI.2015.2434616
[46] LI H, YU Z, MAO C. Fractional differential and variational method for image fusion and super-resolution[J]. Neurocomputing, 2016, 171 : 138-148. doi: 10.1016/j.neucom.2015.06.035
[47] ZHU W, CHAN T. Image denoising using mean curvature of image surface[J]. SIAM Journal on Imaging Sciences, 2012, 5 (1) : 1-32. doi: 10.1137/110822268
[48] 张富平, 周尚波, 赵灿. 基于分数阶偏微分方程的彩色图像去噪新算法[J]. 计算机应用研究, 2013, 30 (3) : 946-949. ( ZHANG F P, ZHOU S B, ZHAO C. Novel color image denoising method based on fractional-order partial differential equation[J]. Application Research of Computers, 2013, 30 (3) : 946-949. )
[49] REN Z, HE C, LI M. Fractional-order bidirectional diffusion for image up-sampling[J]. Journal of Electronic Imaging, 2012, 21 (2) : 023006. doi: 10.1117/1.JEI.21.2.023006
[50] LIU Y, FANG Z, LI H, et al. A mixed finite element method for a time-fractional fourth-order partial differential equation[J]. Applied Mathematics and Computation, 2014, 243 : 703-717. doi: 10.1016/j.amc.2014.06.023
[51] ATANGANA A, BALEANU D. Numerical solution of a kind of fractional parabolic equations via two difference schemes[J]. Abstract & Applied Analysis, 2013, 2013 : Article ID 828764.
[52] MEERSCHAERT M M, TADJERAN C. Finite difference approximations for fractional advection dispersion equations[J]. Journal of Computational and Applied Mathematics, 2004, 172 (1) : 65-77. doi: 10.1016/j.cam.2004.01.033
[53] ZHANG Y. A finite difference method for fractional partial differential equation[J]. Applied Mathematics and Computation, 2009, 215 (2) : 524-529. doi: 10.1016/j.amc.2009.05.018
[54] TADJERAN C, MEERSCHAERT M M, SCHEFFLER H-P. A second order accurate numerical approximation for the fractional diffusion equation[J]. Journal of Computational Physics, 2016, 213 (1) : 205-213.
[55] CHEN C-M, LIU F, TURNER I, et al. A Fourier method for the fractional diffusion equation describing sub-diffusion[J]. Journal of Computational Physics, 2007, 227 (2) : 886-897. doi: 10.1016/j.jcp.2007.05.012
[56] YUSTE S B, ACEDO L. An explicit finite difference method and a new von Neumann-type stability analysis for fractional diffusion equations[J]. SIAM Journal of on Numerical Analysis, 2005, 42 (5) : 1862-1874. doi: 10.1137/030602666
[57] AL-KHALEDA K, MOMANIB S. An approximate solution for a fractional diffusion-wave equation using the decomposition method[J]. Applied Mathematics and Computation, 2005, 165 (2) : 473-483. doi: 10.1016/j.amc.2004.06.026
[58] SAKTIVEL R, REVATHI P, REN Y. Existence of solutions for nonlinear fractional stochastic differential equations[J]. Nonlinear Analysis:Theory, Methods & Applications, 2013, 81 : 70-86.
[59] BAYOURA B, TORRESB D F M. Existence of solution to a local fractional nonlinear differential equation[J]. Journal of Computational and Applied Mathematics, 2017, 312 : 127-133. doi: 10.1016/j.cam.2016.01.014
[60] ZHU B, LIU L, WU Y. Existence and uniqueness of global mild solutions for a class of nonlinear fractional reaction-diffusion equations with delay[J/OL]. Computers and Mathematics with Applications, 2016[2016-07-16]. http://www.sciencedirect.com/science/article/pii/S0898122116300244.
[61] ATANGANA A. On the stability and convergence of the time-fractional variable order telegraph equation[J]. Journal of Computational Physics, 2015, 293 : 104-114. doi: 10.1016/j.jcp.2014.12.043
[62] LI F, LI Z, PI L. Variable exponent functionals in image restoration[J]. Applied Mathematics and Computation, 2010, 216 (3) : 870-882. doi: 10.1016/j.amc.2010.01.094
[63] WEI G W. Generalized Perona-Malik equation for image restoration[J]. IEEE Signal Processing Letters, 1999, 6 (7) : 165-167. doi: 10.1109/97.769359
[64] TSENG C-C, PEI S-C, HSIA S-C. Computation of fractional derivatives using Fourier transform and digital FIR differentiator[J]. Signal Processing, 2000, 80 (1) : 151-159. doi: 10.1016/S0165-1684(99)00118-8
[65] TAI Y-W, LIU S, BROWN M S, et al. Super resolution using edge prior and single image detail synthesis[C]//CVPR 2010:Proceedings of the 2010 IEEE Computer Vision and Pattern Recognition. Washington, DC:IEEE Computer Society, 2010:2400-2407.
[66] MARQUINA A, OSHER S J. Image super-resolution by TV regularization and Bregman iteration[J]. Journal of Scientific Computing, 2008, 37 (3) : 367-382. doi: 10.1007/s10915-008-9214-8