计算机应用   2016, Vol. 36 Issue (9): 2570-2575  DOI: 10.11772/j.issn.1001-9081.2016.09.2570
0

引用本文 

陈伟业, 孙权森. 结合压缩感知与非局部信息的图像超分辨率重建[J]. 计算机应用, 2016, 36(9): 2570-2575.DOI: 10.11772/j.issn.1001-9081.2016.09.2570.
CHEN Weiye, SUN Quansen. Image super-resolution reconstruction combined with compressed sensing and nonlocal information[J]. Journal of Computer Applications, 2016, 36(9): 2570-2575. DOI: 10.11772/j.issn.1001-9081.2016.09.2570.

基金项目

国家自然科学基金资助项目(61273251);民用航天技术“十二五”预先研究项目(D040201)

通信作者

陈伟业(1990-), 男, 江苏常州人, 硕士研究生, 主要研究方向:图像处理、压缩感知, njustcwy@foxmail.com

作者简介

孙权森(1963-), 男, 山东济宁人, 教授, 博士, 主要研究方向:模式识别、图像处理

文章历史

收稿日期:2016-02-24
修回日期:2016-03-17
结合压缩感知与非局部信息的图像超分辨率重建
陈伟业, 孙权森    
南京理工大学 计算机科学与工程学院, 南京 210094
摘要: 针对现有的超分辨率重建算法只考虑图像块的灰度信息,而忽略了纹理信息,并且大多数非局部方法在强调非局部信息的同时,没有考虑局部信息的问题,提出一种结合压缩感知与非局部信息的图像超分辨率重建算法。首先,根据图像块的结构特征计算像素之间的相似性,同时考虑了图像块的灰度信息和纹理信息;然后,合并图像的局部和非局部信息来估计相似像素的权重,构造结合局部和非局部信息的正则项;最后,将图像的非局部信息引入到压缩感知框架中,通过迭代收缩算法求解稀疏表示系数。实验结果表明,所提算法与现有的基于学习的超分辨率算法相比,重建图像的峰值信噪比和结构相似度取值更高,并且在恢复图像纹理细节的同时有效抑制了噪声。
关键词: 超分辨率重建    压缩感知    非局部信息    稀疏表示    结构特征    
Image super-resolution reconstruction combined with compressed sensing and nonlocal information
CHEN Weiye, SUN Quansen     
School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing Jiangsu 210094, China
Background: This work is partially supported by the National Natural Science Foundation of China (61273251), the Project of Civil Space Technology Preresearch of the 12th Five-Year Plan (D040201)
CHEN Weiye, born in 1990, M. S. candidate. His research interests include image processing, compressed sensing
SUN Quansen, born in 1963, Ph. D., professor. His research interests include pattern recognition, image processing
Abstract: The existing super-resolution reconstruction algorithms only consider the gray information of image patches, but ignores the texture information, and most nonlocal methods emphasize the nonlocal information without considering the local information. In view of these disadvantages, an image super-resolution reconstruction algorithm combined with compressed sensing and nonlocal information was proposed. Firstly, the similarity between pixels was calculated according to the structural features of image patches, and both the gray and the texture information was considered. Then, the weight of similar pixels was evaluated by merging the local and nonlocal information, and a regularization term combining the local and nonlocal information was constructed. Finally, the nonlocal information was introduced into the compressed sensing framework, and the sparse representation coefficients were solved by the iterative shrinkage algorithm. Experimental results demonstrate that the proposed algorithm outperforms other learning-based algorithms in terms of improved Peak Signal-to-Noise Ratio and Structural Similarity, and it can better recover the fine textures and effectively suppress the noise.
Key words: super-resolution reconstruction    compressed sensing    nonlocal information    sparse representation    structural feature    
0 引言

随着软硬件技术的发展,图像的空间分辨率越来越高。高分辨率图像不仅可以给人们带来视觉上的享受,而且能够提供丰富的图像细节信息。然而,在图像获取过程中,有许多因素会导致图像分辨率的下降。通过改进硬件系统的性能来提高图像分辨率,主要受到当前制造技术的限制,而且高精密的光学元件和传感器价格昂贵,并不适合一般的商业应用。为了克服制造工艺和生产成本的限制,利用图像处理技术提高图像分辨率的方法受到了越来越多的关注,相关的算法被称为图像超分辨率重建。

目前,图像超分辨率算法主要有三类,包括基于插值的算法、基于重建的算法和基于学习的算法。基于插值的算法有双线性插值、双三次插值等,它们计算复杂度小、运行速度快,但容易导致严重的模糊,并且丢失大量细节信息。基于重建的算法[1-3]结合图像的降质模型,利用先验信息约束超分辨率重建过程,该类算法重建图像的质量比插值算法有所提高,但可能丢失部分高频信息。基于学习的算法[4-7]是目前的研究热点。该类算法的目的是寻找高分辨率图像和低分辨率图像之间的对应关系,常用的手段有根据训练样本学习字典来表示图像或建立高、低分辨率图像在特征空间中的某种映射。Yang等[4]提出了基于稀疏编码的超分辨率算法,该算法为高、低分辨率图像块分别训练对应的字典,并且使它们具有相同的稀疏表示,但当训练样本和测试图像差距较大时,字典的性能会随之下降。Zeyde等[5]将测试图像自身作为训练样本学习字典,使用K-奇异值分解(K-Singular Value Decomposition, K-SVD)求解低分辨率字典,再利用最优方向法求解高分辨率字典,但该算法很难得到能够稀疏表示所有

图像块的全局字典。Chang等[6]受流形学习思想的启发,提出了基于邻域嵌入的超分辨率算法,但高、低分辨率块之间存在一对多的映射关系,因此流形假设不一定成立。为了解决该问题,Gao等[7]在邻域嵌入法的基础上,同时训练两个投影矩阵,将高、低分辨率图像的特征空间映射到一个统一的特征子空间中,但该算法要求低分辨率图像块相似的同时,要求高分辨率图像块也相似,这导致算法的适用范围受到限制。

在图像超分辨率重建中,利用图像的非局部信息进行高频细节恢复是另一种研究思路。该类算法使用图像自身结构的相似性来定义像素之间的差异,并根据相似图像块之间提供的互补信息重建高分辨率图像,从而更有效地保护图像的结构信息。近年来,已有学者将压缩感知理论与图像的非局部相似性引入到图像超分辨率重建领域[8-11]。Pan等[8]提出了一种结合压缩感知框架和结构自相似性的图像超分辨率算法,该算法利用图像结构自相似性所提供的附加信息,通过压缩感知框架实现图像重建,并在重建过程中仅使用了待处理低分辨率图像的插值图像作为K-SVD字典学习的样本。在该算法的基础上,潘宗序等[9]利用非局部方法和基于图像金字塔的K-SVD字典学习算法,提出了基于多尺度结构自相似性的算法,将蕴含在相同尺度和不同尺度相似图像块中的附加信息加入重建图像。Dong等[10]提出了自适应字典选取与正则化算法,该算法对图像库中的样本进行聚类,并对每一类分别训练字典,将非局部信息作为正则化约束项加入到图像重建过程中。Dong等[11]进一步提出了非局部集中稀疏表示算法,该算法将降质图像的稀疏编码与未知原始图像的稀疏编码之差定义为稀疏编码噪声,并利用图像的非局部信息来减小稀疏编码噪声,从而提高图像的重建质量。上述算法在计算像素相似性时,只考虑图像块的灰度信息,而忽略了纹理信息。纹理特征也会影响像素相似性的计算,灰度值相同的两个像素邻域结构可能存在较大差别。此外,大多数非局部方法在强调非局部信息的同时,没有考虑局部信息,只是简单地将两者等同看待,这可能导致在一些特征变化较明显的区域,如边缘部分,重建的图像过度平滑。为了解决现有算法中存在的问题,本文提出了一种新的结合压缩感知与非局部信息的图像超分辨率重建算法。该算法在计算像素相似性时,同时考虑了图像块的灰度特征和纹理特征,并且合并了图像的局部和非局部信息,从而利用了更加丰富的先验知识;接着,将改进后的非局部正则项加入到压缩感知超分辨率重建框架中;最后,通过与其他图像超分辨率算法的比较验证了该算法的有效性。

1 理论基础

图像超分辨率重建是指根据一幅或者多幅低分辨率图像获得高分辨率图像的过程,属于维数增加问题,其解通常是不确定的。在压缩感知理论[12-14]中,由测量值获得原始信号也是一个从低维到高维的维数增加问题,与超分辨率重建类似。因此,借鉴压缩感知的相关思想研究图像超分辨率算法具有实质性的意义。图 1给出了使用传统方法与使用压缩感知理论获取和处理图像信号的对比。

图 1 两种图像获取和处理方式的对比

图 1(b)可以看出,压缩感知理论的基本框架包括采样和重建两部分。设sRN是原始信号,它在测量矩阵ΦRM×N(M$\ll $N)下的测量值m∈RM可以表示如下:

$\boldsymbol{m = \mathit{\Phi} s}$ (1)

由于m的维数远低于s的维数,式(1)无法精确求解。然而,如果s满足稀疏性,并且Φ满足约束等距性,则s可以通过以下的最优l1范数问题精确求解:

$\begin{array}{l} \;\;\;\;\boldsymbol{\hat s} = \arg \min {\left\| \boldsymbol{s} \right\|_1}\\ {\rm{s}}{\rm{.t}}{\rm{.}}\boldsymbol{\Phi s} = \boldsymbol{m} \end{array}$ (2)

但是,在实际情况中,信号s通常不是稀疏的。因此,需要引入变换基Ψ,使得sΨ变换域上可以稀疏表示,即s=Ψα,从而得到下式:

$\begin{array}{l} \;\;\;\boldsymbol{\hat \alpha} = \arg \min {\left\| \boldsymbol{\alpha} \right\|_1}\\ {\rm{s}}{\rm{.t}}{\rm{.}}\boldsymbol{\Phi \Psi \alpha} = \boldsymbol{m} \end{array}$ (3)

其中:αs的稀疏表示系数,式(3)是一个凸优化问题,有很多方法可以求解[15-17]

为了从单幅低分辨率图像中有效恢复出高分辨率图像,需要加入一些先验信息对图像的重建过程进行约束,图 2所示的图像降质过程就给出了有用的先验信息。

图 2 图像的降质过程

X是原始高分辨率图像,Y是对应的低分辨率图像,则图 2所示的图像降质过程可以表示如下:

$\boldsymbol{Y = SHX + v}$ (4)

其中:S为下采样算子,H为模糊算子,v为噪声。

根据式(4),图像的超分辨率重建问题可以转化为求解如下的最小二乘问题:

$\boldsymbol{\hat X}\mathop {\arg \min }\limits_\boldsymbol{X} \left\| {\boldsymbol{Y - SHX}} \right\|_2^2$ (5)

由于式(5)的解不唯一,根据压缩感知理论,在求解X时引入稀疏约束项,从而得到如下的图像超分辨率重建模型:

$\left\{ \begin{array}{l} \boldsymbol{\hat \beta} = \mathop {\arg \min }\limits_\beta \left\{ {\left\| {\boldsymbol{Y} - \boldsymbol{SHD\beta} } \right\|_2^2 + \lambda {{\left\| \boldsymbol{\beta } \right\|}_1}} \right\}\\ \boldsymbol{X = D\hat \beta } \end{array} \right.$ (6)

其中:λ为正则化参数,D为过完备字典, βX的稀疏表示系数。式(6)中的β可以使用迭代收缩算法[15]求解。

2 本文算法 2.1 图像块特征的计算

Pi是以像素i为中心的图像块,Pi的大小可以根据需要进行设置。像素i的邻域结构特征由图像块Pi中所有像素的特征决定。通常情况下,我们将灰度信息作为图像块的主要特征,但是图像中往往存在丰富的纹理信息,因此,在计算图像块的特征时,应该同时考虑灰度信息和纹理信息。

本文使用基于微分几何理论的方法[18]计算图像块的纹理特征:

${Q_i} = \sqrt {\left( {1 + {{\left( {\frac{{\partial {\boldsymbol{P}_i}}}{{\partial x}}} \right)}^2}} \right)\left( {1 + {{\left( {\frac{{\partial {\boldsymbol{P}_i}}}{{\partial y}}} \right)}^2}} \right) - {{\left( {\frac{{\partial {\boldsymbol{P}_i}}}{{\partial x}} \cdot \frac{{\partial {\boldsymbol{P}_i}}}{{\partial y}}} \right)}^2}} $ (7)
${T_i} = \exp \left( { - Q_i^2} \right)$ (8)

其中:Pi为像素i所在的图像块;$\frac{{\partial {\boldsymbol{P}_i}}}{{\partial x}}$表示Pix方向的导数,$\frac{{\partial {\boldsymbol{P}_i}}}{{\partial x}}$=Pi(x+1, y)-Pi(x, y);$\frac{{\partial {\boldsymbol{P}_i}}}{{\partial y}}$表示Piy方向的导数,$\frac{{\partial {\boldsymbol{P}_i}}}{{\partial y}}$=Pi(x, y+1)-Pi(x, y);Ti为最终的纹理特征。

将图像块Pi的灰度特征表示为Gi,纹理特征表示为Ti。为了将两种特征有效结合起来,计算图像块的梯度幅值直方图,并根据下式度量直方图的稀疏性:

$\mu = \frac{1}{{\sqrt b - 1}}\left( {\sqrt b - \frac{1}{{{{\left\| \boldsymbol{h} \right\|}_2}}}} \right)$ (9)

其中:h为直方图,b为直方图的组数。梯度幅值直方图可以体现非纹理区域的稀疏性。当图像块的纹理结构简单时,则μ值较大,即Ti所占比重应该小;反之,当图像块的纹理结构复杂时,则μ值较小,即Ti所占比重应该大。因此,图像块Pi的特征F(Pi)可以表示如下:

$F\left( {{P_i}} \right) = \left( {\mu {G_i},\left( {1 - \mu } \right){T_i}} \right)$ (10)
2.2 相似像素权重的估计

利用图像的非局部信息需要估计像素之间的相似性,传统方法在计算两个像素相似性时,往往只考虑像素本身或者相邻像素灰度值的大小。如图 3所示,像素i、i1i2i3之间是非局部关系,并且这四个像素的灰度值十分接近,但是像素i与像素i1i2的邻域结构相似,而像素i与像素i3的邻域结构却相差很大,即这两个像素之间的相似性较低。为了弥补传统方法的不足,本文使用图像块之间的相似性来代表像素之间的相似性,根据图像块的特征,计算图像中其他像素与像素i的相似性。

图 3 像素的相似性示意图

由于在整幅图像中计算像素之间的相似性运算开销较大,本文为图像中的每个像素设置一个搜索窗口,在计算非局部相似性时,只考虑该像素与自身搜索窗口中所有像素之间的相似性。通常来说,图像中的相似部分往往出现在邻近的范围内,因此这种限制搜索范围的方法是有效的。

ij为图像中的任意两个像素,则像素对{i, j}的非局部相似性计算如下:

$N{L_{i,j}} = \exp \left( { - {G_i}\left\| {F\left( {{\boldsymbol{P}_i}} \right) - F\left( {{\boldsymbol{P}_j}} \right)} \right\|_2^2} \right)$ (11)

其中:Pi表示以像素i为中心的图像块;F(Pi)表示根据2.1节计算得到的图像块特征;Ci是一个控制参数,根据像素i的搜索窗口进行设置,其定义如式(12)。

${C_i} = \frac{1}{{2E{P_i}\left( {\left\| {F\left( {{\boldsymbol{P}_i}} \right) - F\left( {{\boldsymbol{P}_j}} \right)} \right\|_2^2} \right)}}$ (12)

其中EPi()为像素i搜索窗口的期望,计算如下:

$E{P_i}\left( {{A_{ij}}} \right) = \frac{1}{{{n_i} - 1}}\sum\limits_{j = 1}^{{n_i} - 1} {{A_{ij}}} $ (13)

其中:Aij=‖F(Pi)-F(Pj)‖22ni为像素i搜索窗口中的像素个数。像素i和像素j的相似性越高,则NLi, j越大,反之则越小。由于像素对{i, j}和{j, i}的非局部相似性NLi, jNLj, i并不相等,因此,图像中任意两个像素ij之间的相似性计算如下:

$AI{M_{ij}} = \frac{{N{L_{i,j}} + N{L_{j,i}}}}{2}$ (14)

通过计算图像中各像素之间的相似性,可以有效利用图像的非局部信息。通常情况下,相似性越高的像素所占的权重也越大。然而,当图像中与像素i相似性高的像素数量很少,而相似性低的像素数量很多时,虽然相似性低的像素所占的权重很小,但是总和却可能很大。为了避免发生这种情况,本文使用阈值法,即设置阈值t,当两个像素之间的相似性小于t时,就把它们之间的相似性设置为0。

给定一个图像块,像素之间既有局部关系,又有非局部关系,如图 4所示:圆圈代表像素;虚线代表局部关系,如像素1和像素3;实线代表非局部关系,如像素3和像素7。

图 4 像素的局部和非局部关系

在计算相似像素的权重时,除了有效利用非局部信息外,也必须认识到局部信息的重要性。设δ表示图像的邻域,一般选择四邻域或者八邻域,则在邻域范围内的像素i和像素j的局部相似性zi, j计算如下:

${z_{i,j}} = \frac{{\exp \left( { - C\left\| {F\left( i \right) - F\left( j \right)} \right\|_2^2} \right)}}{{d\left( {i,j} \right)}}$ (15)

其中:d()为像素i和像素j之间的欧氏距离,C是一个控制参数,其定义如式(16)。

$C = \frac{1}{{2EP\left( {\left\| {F\left( i \right) - F\left( j \right)} \right\|_2^2} \right)}}$ (16)

其中:EP()为整幅图像的期望,如果选择四邻域,则EP()计算如式(17)。

$EP\left( {{B_{ij}} = \frac{1}{{4n}}} \right)\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^4 {{B_{ij}}} } $ (17)

其中:Bij=‖F(i)-F(j)‖22n为图像中的像素个数。如果两个相邻像素的局部相似性越高,则zi, j越大,反之则越小。接下来,将图像的局部信息和非局部信息合并如下:

${u_{i,j}} = \left\{ \begin{array}{l} \begin{array}{*{20}{c}} {\eta {z_{i,j}} + \left( {1 - \eta } \right)SI{M_{i,j}},}&{\left\{ {i,j} \right\} \in \delta } \end{array}\\ \begin{array}{*{20}{c}} {\left( {1 - \eta } \right)SI{M_{i,j}},}&{}&{}&{其他} \end{array} \end{array} \right.$ (18)

其中:η为调节参数,满足条件0≤η≤1,当η=1时为只考虑局部信息的情况。

最后,对于目标像素i,像素j所对应的权重计算如下:

${w_{i,j}} = \frac{{{u_{i,j}}}}{{\sum\limits_{j = 1}^J {{u_{i,j}}} }}$ (19)

其中:J为与i相似像素的个数。

2.3 在压缩感知框架中引入图像非局部信息

xixj分别为图像块PiPj的中心像素值,可以用xj(j=1, 2, …, J)的线性表示对进行估计:

${{\hat x}_i} = \sum\limits_{j = 1}^J {{w_{i,j}}{x_j}} $ (20)

其中:J为与i相似像素的个数,wi, j为式(19)计算的像素j的权重。图像中像素的估计值${{\hat x}_i}$与原始像素值xi之差应该尽可能小。

给定图像X,非局部正则项‖XNL构造如下:

${\left\| \boldsymbol{X} \right\|_{{\rm{NL}}}} = \sum\limits_{i = 1}^n {\left\| {{x_i} - \sum\limits_{j = 1}^J {{w_{i,j}}{x_j}} } \right\|_2^2} $ (21)

其中n为图像X中的像素个数。令Wi={wi, j}j=1JXi={xj}j=1J,则式(21)改写如下:

${\left\| \boldsymbol{X} \right\|_{{\rm{NL}}}} = \sum\limits_{i = 1}^n {\left\| {{x_i} - \boldsymbol{W}_i^{\rm{T}}{\boldsymbol{X}_i}} \right\|_2^2} $ (22)

其中:Xi表示与像素i相似的像素的集合,Wi表示相对应的权重集合。若用X表示所有像素,W表示所有像素的权重,则式(22)可以用矩阵形式表示如下:

${\left\| \boldsymbol{X} \right\|_{{\rm{NL}}}} = \left\| {\left( {\boldsymbol{I - W}} \right)\boldsymbol{X}} \right\|_2^2$ (23)

其中:I为与W尺寸相同的单位矩阵。W为由Wi组成的权重矩阵,并且满足如下条件:

$W\left( {i,j} \right) = \left\{ \begin{array}{l} \begin{array}{*{20}{c}} {{w_{i,j}},}&{j \in \Omega } \end{array}\\ \begin{array}{*{20}{c}} {0,}&{}&{其他} \end{array} \end{array} \right.$ (24)

其中Ω为与i相似像素的集合。

根据第2章介绍的图像超分辨率重建模型,将式(23)构造的非局部正则项加入到式(6)中,得到结合非局部信息的图像超分辨率重建模型:

$\begin{array}{c} \boldsymbol{\hat \beta} = \mathop {\arg \min }\limits_\beta \left\{ {\left\| {\boldsymbol{Y - SHD\beta }} \right\|_2^2 + \lambda {{\left\| \boldsymbol{\beta } \right\|}_1} + } \right.\\ \left. {\gamma \left\| {\left( {\boldsymbol{I - W}} \right)\boldsymbol{D\beta} } \right\|_2^2} \right\} \end{array}$ (25)

其中:γ为正则化参数,控制非局部正则项在式(25)中所占的权重。式(25)可以使用迭代收缩算法[15]求解,具体算法流程如下:

步骤1  求取初始高分辨率图像${{\boldsymbol{\hat X}}_0}$

步骤2  根据式(24)求得当前图像的权重矩阵W。

步骤3  根据式(26)更新图像。

$\begin{array}{c} {{\boldsymbol{\hat X}}^{k + 1/2}} = {{\boldsymbol{\hat X}}^k} + \left[{{\boldsymbol{H}^{\rm{T}}}{\boldsymbol{S}^{\rm{T}}}\left( {\boldsymbol{Y} - \boldsymbol{SH}{{\boldsymbol{\hat X}}^k}} \right) - } \right.\\ \left. {{\gamma ^2}{{\left( {\boldsymbol{I - W}} \right)}^{\rm{T}}}\left( {\boldsymbol{I - W}} \right){{\boldsymbol{\hat X}}^k}} \right] \end{array}$ (26)

步骤4  根据式(27)和式(28)更新稀疏表示系数。

$\beta _i^{k + 1/2} = {\boldsymbol{D}^{\rm{T}}}\boldsymbol{x}_i^{k + 1}/2$ (27)
$\beta _i^{k + 1} = {\rm{soft}}\left( {\beta _i^{k + 1/2},\xi } \right) = {\mathop{\rm sgn}} \left( {\beta _i^{k + 1/2}} \right)\max \left( {\left| {\beta _i^{k + 1/2}} \right| - \xi ,0} \right)$ (28)

其中:xi为第i(i=1, 2, …, num,num为图像块的个数)个图像块; soft()为阈值ξ的软阈值函数; sgn()为符号函数。

步骤5  根据式(29)更新图像。

${{\boldsymbol{\hat X}}^{k + 1}} = \boldsymbol{D}{{\boldsymbol{\hat \beta} }^{k + 1}}$ (29)

步骤6  重复步骤2到步骤5,直到收敛。

3 实验分析

为了验证本文算法的有效性,将所提出的算法与其他典型的图像超分辨率算法进行比较,并讨论了输入噪声的影响。对于测试的高分辨率图像,先使用标准差为1.6,大小为7×7的高斯模糊核对高分辨率图像进行模糊操作,然后按照缩放因子3对模糊图像在水平和垂直方向下采样,获得对应的低分辨率图像。与其他算法比较时,用于相似性估计的图像块大小设置为3×3,局部信息和非局部信息的调节参数设置为0.8,搜索窗口的大小设置为9×9,相似性阈值设置为0.8,小于该阈值时,像素之间的相似性设置为0。为了抑制边缘效应,对实验图像进行重叠分块,低分辨率图像按照3×3分块,在相邻块之间存在1个像素的重叠部分,对应了9×9分块的高分辨率图像,在相邻块之间重叠3个像素,对于重叠部分,取平均值作为重建结果。为了客观评价各种算法的重建效果,使用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似度(Structural Similarity, SSIM)作为评价指标。

3.1 不同算法重建结果的比较

本节选取8幅常见的自然图像,给出不同算法间的对比实验结果,并进行客观评价指标下的定量分析。选取的对比算法包括双三次插值(Bicubic),Yang等[4]的稀疏编码超分辨率算法(Sparse Coding Super-Resolution, SCSR),潘宗序等[9]的多尺度结构自相似性超分辨率算法(Multi-scale Structural Self-similarity Super-Resolution, MSSSR)和Dong等[11]的非局部集中稀疏表示算法(Nonlocally Centralized Sparse Representation, NCSR)。其中,文献[9]与文献[8]中的算法相比,有所改进,文献[11]与文献[10]中的算法相比,有所改进,作者在原文的实验中已经予以证明,因此,本文使用文献[9]和文献[11]中的算法进行对比。由于文献[4]中的算法不能同时提高分辨率和去模糊,按照作者的建议,实验中对该算法重建的图像使用迭代反向投影来去除模糊。

图 5给出了Lena图像使用五种超分辨率算法重建的结果,其中第一行为整幅图像,第二行为局部细节图。从图中可以看出,双三次插值算法重建的图像模糊严重且很多细节无法分辨,尤其纹理复杂的区域,如人物的头发;SCSR算法一定程度上提高了边缘的锐度,恢复了部分高频信息,但是纹理保持能力较差,图像仍然较模糊;后三种算法均同时考虑了图像的稀疏性和非局部相似性,从整幅图像上来看,重建图像的质量均明显提高,视觉效果更加舒适。但从局部细节图来看,MSSSR算法和NCSR算法放大图像后部分区域过度平滑,尤其是纹理结构相差较大的边缘部分,这是因为这些区域特征变化明显,MSSSR算法和NCSR算法在计算相似像素权重时没有很好地权衡局部信息和非局部信息之间的关系;相比其他算法,本文算法重建平滑和纹理区域都十分有效,能够恢复更多和更整洁的细节信息。

图 5 Lena图像的超分辨率重建结果

表 1分别给出了8幅重建图像的PSNR和SSIM值。在所有图像中,本文算法均得到了最佳取值,PSNR值平均比Bicubic、SCSR、MSSSR和NCSR分别提高了2.61 dB、1.87 dB、0.55 dB和0.15 dB,SSIM值平均比Bicubic、SCSR、MSSSR和NCSR分别提高了0.055、0.041、0.014和0.005,从而更加明确地体现出本文算法的优越性。

表 1 不同算法重建图像的PSNR值和SSIM值
3.2 对噪声的鲁棒性分析

图 2给出的图像降质过程可知,在图像获取过程中不可避免地受到噪声干扰。在图像中由于噪声和边缘都对应着高频成分,因此在超分辨率重建过程中保持边缘细节和抑制噪声是一对矛盾,需要受到更多关注。在图像超分辨率重建中抑制噪声的影响主要有两种思路,其一是将重建过程分成不相交的两个步骤:先去噪,再超分辨率。然而,这种策略重建图像的质量很大程度上取决于具体的去噪算法,并且在去噪时低分辨率图像中的任何破损都将保持甚至扩大到后面的超分辨率过程。另一种思路是同时完成超分辨率和去噪,基于压缩感知的算法和基于非局部相似性的算法都采用了这种思路,如文献[11]提出的NCSR算法既适用于图像超分辨率重建,又适用于图像去噪。本文算法在压缩感知框架下将非局部信息引入图像超分辨率重建,同时考虑了图像的稀疏性和非局部相似性,即算法在超分辨率重建的同时,既能有效抑制图像中的噪声,又能较好地保护边缘细节信息。

为了测试本文算法对噪声的鲁棒性,选取Bridge图像和Milk图像进行实验,其中,Bridge图像纹理结构复杂,Milk图像纹理结构简单。在低分辨率输入图像中添加不同程度的高斯噪声,高斯噪声标准差的范围从0递增到12,每次增加2,共7组取值。图 67分别给出了Bridge图像和Milk图像在不同噪声水平下重建结果的PSNR和SSIM值的变化情况。从图中可以看出,随着噪声的增加,各种算法重建图像的PSNR和SSIM值均有所下降,但本文算法(Proposed)的下降程度最小,并且在相同噪声的情况下,本文提出的算法可以获得相对更高的PNSR和SSIM取值,这说明了在图像含噪的情况下,本文算法的重建效果更好,抗噪性能更佳。

图 6 Bridge图像在不同噪声水平下的重建结果
图 7 Milk图像在不同噪声水平下的重建结果
4 结语

本文将图像的非局部信息用于超分辨率重建,在基于压缩感知的图像重建模型中引入合并了图像局部和非局部信息权重的正则项,并通过迭代收缩算法求解稀疏表示系数。该算法在求取图像块特征时,同时考虑了灰度信息和纹理信息,提高了像素相似性计算的准确性。与其他几种基于学习的算法相比,本文算法重建图像的PSNR和SSIM值均有所提高,纹理细节更加清晰,抗噪性能更佳。在后续的工作中,可以研究如何根据图像的特征自适应地设置参数,从而进一步提高算法的有效性。

参考文献
[1] FATTAL R. Image upsampling via imposed edge statistics[J]. ACM Transactions on Graphics, 2007, 26 (3) : 1-8. doi: 10.1145/1276377 (0)
[2] SUN J, XU Z, SHUM H. Image super-resolution using gradient profile prior [C]// CVPR 2008: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2008: 1-8. (0)
[3] TAI Y, LIU S, BROWN M S, et al. Super resolution using edge prior and single image detail synthesis [C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 2400-2407. (0)
[4] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19 (11) : 2681-2873. (0)
[5] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations [C]// ICCS 2010: Proceedings of the 7th 2010 International Conference on Curves and Surfaces. Berlin: Springer, 2010: 711-730. (0)
[6] CHANG H, YEUNG D, XIONG Y. Super-resolution through neighbor embedding [C]// CVPR 2004: Proceedings of the 2004 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2004, 1: 275-282. (0)
[7] GAO X, ZHANG K, TAO D, et al. Joint learning for single-image super-resolution via a coupled constraint[J]. IEEE Transactions on Image Processing, 2012, 21 (2) : 469-480. doi: 10.1109/TIP.2011.2161482 (0)
[8] PAN Z, YU J, HUANG H, et al. Super-resolution based on compressive sensing and structural self-similarity for remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51 (9) : 4864-4876. doi: 10.1109/TGRS.2012.2230270 (0)
[9] 潘宗序, 禹晶, 胡少兴, 等. 基于多尺度结构自相似性的单幅图像超分辨率算法[J]. 自动化学报, 2014, 40 (4) : 594-603. ( PAN Z X, YU J, HU S X, et al. Single image super resolution based on multi-scale structural self-similarity[J]. Acta Automatica Sinica, 2014, 40 (4) : 594-603. ) (0)
[10] DONG W, ZHANG L, SHI G, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2011, 20 (7) : 1838-1857. doi: 10.1109/TIP.2011.2108306 (0)
[11] DONG W, ZHANG L, SHI G, et al. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22 (4) : 1620-1630. doi: 10.1109/TIP.2012.2235847 (0)
[12] DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52 (4) : 1289-1306. doi: 10.1109/TIT.2006.871582 (0)
[13] TSAIG Y, DONOHO D L. Extensions of compressed sensing[J]. Signal Processing, 2006, 86 (3) : 549-571. doi: 10.1016/j.sigpro.2005.05.029 (0)
[14] CANDES E J, WAKIN M B. An introduction to compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25 (2) : 21-30. doi: 10.1109/MSP.2007.914731 (0)
[15] DAUBECHIES I, DEFRISE M, DE MOL C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraint[J]. Communications on Pure and Applied Mathematics, 2004, 57 (11) : 1413-1457. doi: 10.1002/(ISSN)1097-0312 (0)
[16] ZHANG X, BURGER M, BRESSON X, et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction[J]. SIAM Journal on Imaging Sciences, 2010, 3 (3) : 253-276. doi: 10.1137/090746379 (0)
[17] ZHANG Z, RAO B D. Extension of SBL algorithms for the recovery of block sparse signals with intra-block correlation[J]. IEEE Transactions on Signal Processing, 2013, 61 (8) : 2009-2015. doi: 10.1109/TSP.2013.2241055 (0)
[18] ZHOU H, ZHENG J, WEI L. Texture aware image segmentation using graph cuts and active contours[J]. Pattern Recognition, 2013, 46 (6) : 1719-1733. doi: 10.1016/j.patcog.2012.12.005 (0)