0 引言

物体的成像过程由于受光学系统散焦、运动、大气扰动以及光电噪声等一系列降质因素的影响，获取的图像往往会出现噪声、模糊、畸变等现象，由于无法得到真实的景物图像，会严重影响进一步的处理和应用。因此，需要对存在噪声、模糊、畸变等降质现象的图像进行复原处理。

图像复原是利用退化过程和图像自身的先验知识将图像的降质现象(污损、噪声、模糊和畸变等)消除或最小化的过程。目前的复原方法大都是将退化图像建模为原始图像与点扩展函数(Point Spread Function, PSF)(也称为模糊核)的卷积加上噪声的形式，根据PSF是否已知可将其分为传统图像复原方法和图像盲复原方法。在PSF已知情况下的较成熟的传统图像复原方法有逆滤波、Wiener滤波、子空间滤波和最小二乘滤波等，但这些方法当假设或估计的噪声分布与实际退化图像不相符时，很难得到理想的复原结果；在PSF未知情况的较成熟的图像盲复原方法有贝叶斯参数估计法、先验模糊辨识法、迭代盲解卷积(Iterative Blind Deconvolution, IBD)法、基于非负性和有限支持域的递归逆滤波法、迭代重加权最小平方法(Iteratively Reweighted Least Squares, IRLS)和最大后验分布(Maximum A Posteriori, MAP)估计法等，但这些方法在模型的约束项与图像的统计分布不相匹配时^[1]，会导致复原失败。

图像是图像设备获取的客观世界的图形化表示，具有潜在的规律性。在空域和变换域内对图像进行统计与分析表明，图像具有自相似性和尺度不变性、非高斯性、边缘主导特性和高维奇异性。随着统计数学和机器学习的不断发展，基于图像稀疏先验信息的图像复原方法受到众多学者的广泛关注^[2-3]。许多研究者尝试获取自然图像的统计性先验知识，并成功地用于不同的任务，如图像去噪^[4-5]、图像去模糊^[6-7]、图像修复^[7-8]、图像去块效应^[9-10]、图像超分辨率^{[4, 11]}等复原任务，且获得了高质量的结果；但是，图像的高维性使得从整幅的自然图像中学习先验信息和围绕相关先验知识的推理、优化变得十分困难，因此，在许多新近的研究工作^{[9, 12-14]}中，先验知识是通过小的图像块来学习的，其过程涉及的诸如学习、推理和相似性估计等计算任务比直接处理整幅图像要容易许多。受图像稀疏先验信息方面研究进展的启发，本文针对图像获取中的未知退化过程，对包含模糊和噪声的图像进行研究，寻求一种基于图像块相似性和自然图像先验信息的复原算法，以最大限度地消除模糊和噪声，尽可能地复原出原始图像。

1 相关研究 1.1 自然图像的稀疏先验模型

对于图像复原这样的病态性问题，图像的先验模型起着非常重要的作用。对于卷积模型，引入先验知识，并寻求将x用于解释观察的图像y，但效果的好坏依赖于所采用的先验模型。换句话说，希望找出给定y条件下x的最大后验解释：

$\mathit{\boldsymbol{x}} = \mathop {\arg \;\max }\limits_\mathit{\boldsymbol{x}} P\left( {\mathit{\boldsymbol{x}}|\mathit{\boldsymbol{y}}} \right) \propto P\left( {\mathit{\boldsymbol{y}}|\mathit{\boldsymbol{x}}} \right)P\left( \mathit{\boldsymbol{x}} \right)$

(1)

假设测量过程中的噪声是具有方差η的独立同分布的高斯噪声，能够表达的相似性为：

$P\left( {\mathit{\boldsymbol{y}}|\mathit{\boldsymbol{x}}} \right) \propto \exp \left( { - \frac{1}{{2{\eta ^2}}}{{\left\| {\mathit{\boldsymbol{x}} - {C_f}\mathit{\boldsymbol{y}}} \right\|}^2}} \right)$

(2)

其中C_f为退化图像的PSF。

对于x的先验条件，采用集合滤波g_{i, k}，以满足图像对于该滤波的响应小。式(3) 是响应图像^[15]：

$P\left( \mathit{\boldsymbol{x}} \right) = \exp \left( { - \alpha \sum\limits_{i,k} {\rho \left( {{g_{i,k}} * \mathit{\boldsymbol{x}}} \right)} } \right)$

(3)

其中：α为常数，代表调节因子；对于某个函数ρ，g_{i, k}表示以像素i为中心的第k个滤波，选择的函数ρ为稀疏的重拖尾函数。

本文使用混合高斯先验模型^[16]、流行的参数化稀疏先验模型如student-t分布^[17]和hyper-Laplacian先验模型^[18]等也能够达到很好的效果。

对式(1) ~(3) 进行log运算，x的最大后验分布(MAP)解释简化为最小化式(4)，寻求重构误差‖C_fx-y‖²最小条件下的x。

${\left\| {\mathit{\boldsymbol{y}} - {C_f}\mathit{\boldsymbol{x}}} \right\|^2} + \omega \sum\limits_{i,k} {\rho \left( {{g_{i,k}} * \mathit{\boldsymbol{x}}} \right)} $

(4)

其中w=αη²。

1.2 从块相似性到图像复原

基于图像块相似性先验的复原方法首先要验证一个关键的问题：自然图像块提供的高相似性先验知识是否能够在图像复原问题中产生好的结果。值得注意的是，这个问题对于整幅图像验证是极其困难的，因为这种情况下对于许多流行的马尔可夫随机场(Markov Random Field, MRF)先验模型，log相似性和MAP估计都不能被精确地计算^[16]。而对于图像块的先验知识、封闭形式的log相似性、贝叶斯最小二乘法(Bayesian Least Squares, BLS)和MAP估计都能够简单地进行计算。

文献[13]对上述问题给予了肯定的答案，其验证方法如下：首先从文献[19]的训练集中随机采样50000个8×8图像块，移除直流系数(Direct Current，DC)后进行训练。然后比较几种流行的相似性模型的log相似性，这些相似性模型包括：具有学习边缘的独立像素、具有学习协方差的像素多变量高斯、具有学习(非高斯)边缘的独立主成分分析(Principal Component Analysis，PCA)和具有学习边缘的独立成分分析(Independent Component Analysis，ICA)。最后在未知自然图像块集合上(从文献[19]的测试集采样得到)使用MAP估计比较每种模型在图像去噪方面的性能。实验结果表明，相似性模型对于图像块集合给出的相似性越高，它在图像去噪方面的性能就越好。更多细节可参考文献[13]。

为了将块相似性先验模型应用于整幅图像复原，本文首先作了如下设想：假设从重构图像中随机选取一个块，且希望这个块在先验条件下是合适的。换句话说，本文希望找到一幅重构图像，在保持重构图像仍然接近于退化图像的条件下，最大化重构图像的某种相似性，这样图像中每个块在先验条件下都是合适的。文献[13]采用期望块log相似性(Expected Patch Log Likelihood, EPLL)取得了很好的结果，本文在混合高斯先验模型的条件下也采用该相似性准则。

1.3 EPLL与几种基于学习的复原框架比较

目前存在的几种基于学习的复原方法是密切相关的，但是提出的框架却有根本的不同。第一种相关的方法是由Roth等^[17]提出的专家领域(Field of Experts, FoE)框架。在FoE中，通过近似最大化训练集图像的相似性学习MRF滤波。由于分区函数难以处理，利用这种模型进行学习也是非常困难的，只能利用对比的偏差来执行。与图像的混合相似性^[20]和定向模型^[21]方法相似，学习MRF的通用方法是估计整幅图像的log概率作为局部边缘或者条件概率的总和。实际上，FoE框架是EPLL方法的一种特殊情况，虽然学习具有很大差别，但FoE推断程序相当于利用独立的先验知识(例如ICA)优化EPLL等式(将在第2章详细介绍)，其滤波可提前学习得到。对比之下，EPLL没有尝试估计全局log概率，并且文献[13]已经证明对局部块的边缘进行建模对于整幅图像复原是充足的。这一点是EPLL的优势，学习图像块的先验知识比学习整幅图像的MRF要容易很多，因此，EPLL能够更加容易地学习充足的图像块先验知识，并更好地把它应用于图像复原。

另外一种密切相关的方法是K-奇异值分解(K-Singular Value Decomposition，KSVD)方法^[22]。在KSVD中，学习图像块的字典就是尝试最大化产生系数的稀疏性。这个字典能够通过自然图像块集合或者噪声图像本身来学习。利用这个字典对图像中所有重叠块进行独立地去噪，然后求平均获得一幅新的重构图像，重复迭代这个过程多次得到最终复原图像。在KSVD中学习字典与学习块先验知识是不同的，因为字典学习可能被执行为优化处理的一部分(除非字典之前已经从自然图像中学习得到)。KSVD也能够看作为EPLL的一种特殊情况，当采用一种稀疏的先验知识模型时，EPLL的代价函数与KSVD的代价函数是相同的。但是，EPLL框架考虑了更加充足的先验知识，能够提前对块进行学习得到，这对后续的图像复原将产生巨大好处。

2 本文图像复原方法 2.1 EPLL的框架和优化 2.1.1 EPLL框架

本文的基于自然图像块相似性和稀疏先验性的图像复原方法的基本思想是在某个先验模型的基础上，利用EPLL框架尽量去除图像的噪声和模糊。给定一幅图像x(向量化的形式)，定义先验条件p下的EPLL为：

$EPL{L_p}\left( \mathit{\boldsymbol{x}} \right) = \sum\limits_i {\log \left( {p\left( {{\mathit{\boldsymbol{P}}_i}\mathit{\boldsymbol{x}}} \right)} \right)} $

(5)

其中，P_i是从图像所有重叠块中提取的第i个块矩阵，而lg(p(P_i x))是在先验条件p下第i个块的log相似性。假设图像中每个块的位置都被均匀地随机选择，那么EPLL就是图像中某一个块的期望log相似性(取决于一个乘数因子1/N)。

假设给定一幅含噪的模糊图像y，对于通用形式的图像退化模型‖Ax-y‖²，包含了图像去噪、图像去模糊和图像修复，在块先验条件p下重构图像可通过类L2规整化的形式最小化如下代价函数得到：

${f_p}\left( {\mathit{\boldsymbol{x}}|\mathit{\boldsymbol{y}}} \right) = \frac{\lambda }{2}{\left\| {\mathit{\boldsymbol{Ax}} - \mathit{\boldsymbol{y}}} \right\|^2} - EPL{L_p}\left( \mathit{\boldsymbol{x}} \right)$

(6)

其中：$\frac{\lambda }{2}{\left\| {\mathit{\boldsymbol{Ax}} - \mathit{\boldsymbol{y}}} \right\|^2}$为相似项，采用L2规整化的形式；EPLL_p(x)为先验项，采用EPLL。需要注意的是EPLL_p(x)不是整幅图像的log概率，而是所有重叠块的log概率累积和，这相当于对log概率进行“双计数”；更确切地说，它是图像中随机选择块的期望log相似性。

2.1.2 框架的优化

式(6) 中代价函数的直接优化非常困难，取决于先前使用的先验条件。本文采用文献[23]提出的“半二次分裂”交替优化方法，实现了对代价函数的高效优化。在“半二次分裂”方法中，引入块的集合{zⁱ}₁^N，每个元素对应于图像中的每个重叠块P_i x，产生下面的代价函数：

$\begin{array}{l} {c_{p,\beta }}\left( {\mathit{\boldsymbol{x}},\left\{ {{z^i}} \right\}|\mathit{\boldsymbol{y}}} \right) = \frac{\lambda }{2}{\left\| {\mathit{\boldsymbol{Ax}} - \mathit{\boldsymbol{y}}} \right\|^2} + \\ \quad \quad \sum\limits_i {\frac{\beta }{2}\left( {{{\left\| {{\mathit{\boldsymbol{P}}_i}\mathit{\boldsymbol{x}} - {z^i}} \right\|}^2}} \right)} - \log p\left( {{z^i}} \right) \end{array}$

(7)

需要注意当β→∞时，约束块P_i x刚好等于辅助变量{zⁱ}，并且式(7) 和式(6) 的方程解收敛。对于β的一个确定值，能够以一种迭代的方式优化式(7)，具体如下所示：

步骤1 给定{zⁱ}条件下求解x。对于向量x，对式(7) 取导数，设置为0并求解，得出封闭形式的解如下：

$\mathit{\boldsymbol{\hat x = }}{\left( {\lambda {\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{A}} + \beta \sum\limits_j {\mathit{\boldsymbol{P}}_j^{\rm{T}}{\mathit{\boldsymbol{P}}_j}} } \right)^{ - 1}}\left( {\lambda {\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{y}} + \beta \sum\limits_j {\mathit{\boldsymbol{P}}_j^{\rm{T}}{z^i}} } \right)$

(8)

其中，在j上对图像中所有重叠块和所有相应辅助变量{zⁱ}进行求和。

步骤2 给定x条件下求解{zⁱ}。所得解决方案的精确性取决于正在使用的先验条件p，但是对于任何先验条件，它意味着求解一个MAP难题，即在给定退化性度量P_i x和参数β的先验条件下，估计最可能的图像块。

对于上述过程进行若干次迭代(一般是4或5次)。在每次迭代中，给定x求解Z，给定新的Z求解x，两种情况下都给定当前的β值；然后，增加β值继续下一次迭代。这两个步骤提升了式(7) 的代价函数c_{p, β}，对于较大的β值也提升了式(6) 的原始代价函数f_p。研究发现，对于上面的每个步骤并不是必须要去寻求最优解，任何估计方法(例如近似的MAP估计方法)只要能够提升每个子问题的代价函数，就仍然能够优化原始的代价函数(尽管在不同的标准下，取决于确切的设置)。

β值的选择是尚未解决的开放性难题。本文采用两种方法进行处理：第一种方法是在一系列的训练图像上优化这个值；第二种方法与图像复原是密切相关的，试着从每一步的当前复原图像中估计β，通过估计复原图像${\mathit{\boldsymbol{\hat x}}}$中噪声σ的量来完成，并且设置β=1/σ²，这里采用了文献[24]的噪声估计方法。

总体来说，本文算法框架有三个有吸引力的属性：首先，它能够使用基于先验知识的任何块；其次，它的运行时间仅仅是利用简单块复原平均运行时间的4~5倍(取决于迭代次数)；最后，最重要的是该框架不需要学习模型P(x)，其中x是一幅自然图像，在一定程度上学习仅仅需要集中在对图像块概率的建模上，简化了学习过程。

2.2 EPLL框架下的稀疏先验性复原

本文通过对自然图像块的像素相似性进行学习来构建一个有限的高斯混合模型(Gaussian Mixture Model, GMM)。许多流行的图像先验模型能够看作为GMM的特殊情况(例如文献[16, 21, 25])，但是这些模型在学习过程中一般会约束均值和协方差矩阵。相比之下，本文方法没有以任何方式去约束该模型，而是对所有像素学习均值、完全协方差矩阵和混合权重，利用期望最大化(Expectation Maximization, EM)算法能够很容易地执行学习过程。

混合高斯先验的公式如下：

$\lg \left( {p\left( \mathit{\boldsymbol{x}} \right)} \right) = \lg \left( {\sum\limits_{k = 1}^K {{\pi _k}N\left( {\mathit{\boldsymbol{x}}|{\mu _k},{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_k}} \right)} } \right)$

(9)

其中：π_k是对每个混合成分的混合权重，μ_k和Σ_k分别是相应的均值和协方差矩阵。

给定一个含噪块y，BLS估计能够以封闭的形式(由于后验条件刚好是另外一个高斯混合)被计算^[25]，而MAP估计则不能以封闭的形式被计算。为解决这个问题，本文使用下面的步骤近似MAP估计程序：

步骤1 给定含噪图像y，计算条件混合权重π_k^′=P(k|y)。

步骤2 选择具有最高条件混合权重的成分${k_{\max }}{\rm{ = }}\mathop {\max }\limits_k \pi _k^\prime $。

步骤3  MAP估计${\mathit{\boldsymbol{\hat x}}}$就是对第k_max个成分的维纳滤波解决方案：

$\mathit{\boldsymbol{\hat x}} = {\left( {{\mathit{\Sigma }_{{k_{\max }}}} + {\sigma ^2}\mathit{\boldsymbol{I}}} \right)^{ - 1}}\left( {{\mathit{\Sigma }_{{k_{\max }}}}\mathit{\boldsymbol{y}} + {\sigma ^2}\mathit{\boldsymbol{I}}{\mu _{{k_{\max }}}}} \right)$

(10)

上述方法实际上是为求解出合适的高斯混合模型所采用的EM算法的一种比较困难的迭代方法^[26]。

3 实验与分析

本文在Pentium Dual-Core 2.5 GHz CPU、4 GB内存的硬件环境和Windows 7、Matlab R2010a的软件环境条件下进行实验。对于图像复原实验，通常采用仿真方法合成特定的退化图像来验证算法的性能，尽管合成的退化图像与相机获取的退化图像有一些微小的差别，但是合成的图像能够从数值上更直观地展示算法的有效性。本实验选择Matlab中如图 1所示的6幅图像作为参考图像。

实验过程为：首先利用表 1中的PSF参数和噪声级别对图像进行退化处理；然后分别采用经典的Lucy-Richardson filter方法^[27-28]、自然图像稀疏先验性(ρ(z)=|z|^0.8)方法^[15]和Hyper-Laplacian先验性方法^[18]以及本文方法对生成的图像进行复原；最后利用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似度(Structural SIMilarity，SSIM)指标对所得复原图像进行比较评价，结果如表 2所示。PSNR用于从统计学角度度量复原图像与原始图像对应像素间存在的误差，但该指标没有充分利用图像中像素之间的相关性，因此对图像复原算法的评价还不够充分^[29]；SSIM是一种在图像去噪效果的相似度评价上全面超越PSNR的图像相似度评价新指标，它的新颖之处是实现了从感知误差度量到感知结构失真度量的转变，可直接估计两个复杂结构信号的结构改变，因而在某种程度上绕开了自然图像内容的复杂性，能够从亮度、对比度和结构三个方面度量复原图像与原始图像之间的差异。因此，同时采用PSNR和SSIM两个指标对复原算法的性能进行比较评价实现了两种评价指标的优势互补。PSNR的值越大，代表失真越少，在本文中说明复原效果越好；SSIM的值越大(最大值为1)，说明图像质量越好，在本文中说明复原图像与原参考图像越相似。

图 2(a)是对图 1(a)的Barbara图像叠加文献[19]的模糊核1及1%的高斯白噪声后的退化图像，图 2(b)~(e)是分别利用上述复原算法对退化图像进行复原处理后的图像。

从表 2可以看出，本文方法的总体性能优势明显，其次是Hyper-Laplacian先验方法^[18]、自然图像稀疏先验性方法^[15]，较差的是经典的Lucy-Richardson filter方法^[27-28]；另外，本文方法的SSIM指标值的大小排序也与图 1中6幅图像的结构特征视觉效果相吻合。从图 2可以看出本文方法的视觉效果明显优于其他方法，且图 2中各图像的视觉效果评价的排序也基本与表 1的PSNR和SSIM指标值排序相同。综合以上分析可知，本文的复原方法在主客观图像质量评价方面都要优于当前技术条件下的其他稀疏先验复原方法。

4 结语

鉴于自然图像块模型在学习、推理和优化过程中的优势，本文提出了一种基于图像块相似性和自然图像稀疏先验性的图像复原框架，并在该框架的基础上实现了一种基于优化的EPLL和GMM的图像复原算法，最后通过实验验证了方法的有效性。另外，由于本文提出的框架是泛化的，所以引入更加成熟的图像块模型和自然图像稀疏先验模型来进一步扩展和改进它在图像处理方面的应用，将是一个值得深入研究的问题。