2. 上海交通大学 图像处理与模式识别研究所, 上海 200240 ;
3. 奥克兰理工大学 知识工程与发现研究所, 新西兰 奥克兰 1020
2. Institute of Image Processing and Pattern Recognition, Shanghai JiaoTong University, Shanghai 200240, China ;
3. Knowledge Engineering and Discovery Research Institute, Auckland University of Technology, Auckland 1020, New Zealand
遥感图像是一种记录地貌特征及地物信息的特殊图像,在农业、林业、地质、海洋、气象、水文、军事、环保等领域得到广泛的应用[1]。
由于遥感图像在接收、传输过程中,容易受到传感器、天气、噪声以及其他因素的影响,遥感图像存在视觉效果较差、图像不清晰、细节丢失等问题,因此对遥感图像进行其他处理和应用研究之前,必须先进行增强预处理。
目前常见的图像增强方法主要有基于模糊域的算法[2]、基于小波的算法[3-4]、基于轮廓波(Contourlet)的算法[5]、基于非下采样轮廓波(Non-Subsampled Contourlet Transform,NSCT)的算法[6-8]和基于剪切波(Shearlet)的算法[9]等。基于模糊域的图像增强算法,在一定程度上改善了视觉效果,但是图像的细节信息容易丢失[2]。小波变换只能描述点的奇异性,存在方向性不足的问题,使得图像的边缘和清晰度呈现效果较弱[3]。Contourlet变换[10]不具有平移不变性,易产生伪吉布斯现象,容易造成图像失真。NSCT[11]解决了这个问题,但由于在频率空间中是隔层细分的,对图像的稀疏表示[12]能力有了一定的削弱,并且运算过程复杂,运算量大。为此,Guo等[13]利用合成膨胀仿射系统构造出Shearlet变换。Shearlet变换是一种新的高维信号稀疏表示工具,具有各向异性、方向性等特点,并且在频域中是逐层细分的,对图像的稀疏表示能力接近于最优,但不具有平移不变性[9]。非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)[14]是Shearlet变换的延伸,避免了Shearlet变换的下采样过程,增加了平移不变性,有效地解决了伪吉布斯现象,并且Shearlet变换数学结构简单,有效地提升了运算速率,弥补了NSCT的弊端。目前NSST已被广泛用于图像融合[15-17]、图像去噪[18-19]等领域,但在图像增强[20-21]方面运用较少。
引导滤波是一种滤波算法,拥有良好的边缘平滑性能和边缘梯度保持能力。该滤波器将原始图像与引导滤波后的平滑图像相减,从而得到细节图像,再将得到的细节图像与平滑图像通过一定的比例相加后,获得增强后的图像。该滤波算法能够明显地提高图像视觉效果、图像的清晰度和对比度,以及图像的边缘梯度保持能力[22]。
综合以上分析,本文提出了一种基于NSST域与引导滤波相结合的遥感图像增强算法。该算法利用线性变换处理NSST的低频部分,采用自适应阈值法处理高频部分的噪声;为了使图像增强效果更佳,再利用引导滤波对去噪后的高频部分进行增强处理。实验结果表明,本文算法与直方图均衡增强算法以及最近几年提出的CT(Contourlet Transform)模糊增强算法、NSCT反锐化算法和NSST参数化对数算法相比,主观视觉效果更佳,增强效果更明显。
1 理论分析 1.1 非下采样Shearlet变换Shearlet变换是通过合成小波理论推演产生的,是一种利用经典理论的仿射系统,与几何和多尺度分析相结合的有效的算法,其结构较为简单。
当维数等于2时,其合成膨胀仿射系统[13]可表示为:
$\begin{array}{l} {M_{AB}}\left( \psi \right) = \{ {\psi _{j,l,k}}\left( x \right) = |\det \left( A \right){|^{1/2}}\psi \left( {{B^l}{A^j}x - k} \right);\\ j,l \in Z,k \in {Z^2}\} \end{array}$ | (1) |
其中:ψ∈L2(R2);A和B为2×2的可逆矩阵;A是合成膨胀放射系统的各向异性膨胀矩阵,控制了Shearlet的尺度;B是合成膨胀放射系统的剪切矩阵,控制了Shearlet的方向,$|\det \left( B \right)| = 1$。 对∀f∈L2(R2),若
$\sum\limits_{j,l,k} {|f,{\psi _{j,l,k}}| = f{^2}} $ | (2) |
则MAB(ψ)的元素称为合成小波。
NSST的分解为如下两个步骤:
1) 多尺度分解。待分解的图像通过非下采样金字塔(Non-Subsampled Pyramid,NSP)被分解成低频和高频两部分。
2) 方向局部化。所得的高频部分通过改进的剪切波滤波器进行方向局部化。具体实现过程为:a)为了不进行下采样过程,将伪极化坐标映射到笛卡儿坐标;b)进行多尺度分解,获得不同的方向子带系数;c)对步骤b)中得到的系数再进行傅里叶逆变换,就得到剪切波系数。
1.2 引导滤波首先,先定义一个线性平移不变的滤波过程,此过程涉及引导图像I、待滤波图像p和滤波后图像q。其中I和p是预先给出的,可以是相同的。在每个像素点i的滤波输出可以表示为加权平均[22]如下所示:
${q_i} = \sum\limits_j {{W_{i,{\rm{ }}j}}\left( I \right){p_j}} $ | (3) |
其中:i、 j都是像素索引。此滤波器的核心Wi,j是一个关于引导图像I和输入图像p的函数,该过滤器相对于p是线性的。
对于引导滤波,其关键性假设是引导图像I和输入图像q呈局部线性关系。假设在以像素点k为中心、r为半径的方形局部窗ωk中,q是I的线性变换,即
${q_i} = {a_k}{I_i} + {b_k};\forall i \in {\omega _k}$ | (4) |
其中:ak、bk是此变换的线性系数,在局部窗ωk中为常值。由于$\nabla q = a\nabla I$(a为常系数),这个局部线性模型保证了滤波输出图像q和引导图像I保持相同的边缘性,因此其滤波后图像的边缘保持得很好。
引导滤波的增强方式可表示为如下:
$EI = \varepsilon \left( {p - q} \right) + q$ | (5) |
其中: p为带滤波的图像;q为滤波后的图像,也就是平滑图像; p-q表示图像的细节图像;ε是增强参数,其值越大图像细节部分会更清晰,但会放大图像的噪声,因此ε的取值很重要,经测试本文中ε的值取3。
2 算法实现 2.1 低频子带的线性增强经NSST变换产生的低频子带,描述了图像大范围的基本信息,是图像的大致轮廓,是整幅图像的强度的综合度量。低频子带中基本滤除了噪声,因此不需要对它进行去噪处理。低频部分对图像最大的影响是对比度,因此可以通过线性变换对其进行拉伸。该变换可以增加整个图像的对比度,有效地提升图像的层次感[5]。
其线性变换如下所示:
$f\left( x \right) = 255(x - {x_{\min }})/({x_{\max }} - {x_{\min }})$ | (6) |
其中:xmin、xmax分别为低频子带系数的最小值与最大值,此变换将低频系数从原来的范围映射到[0,255]内。
2.2 高频子带的自适应阈值去噪与引导滤波增强高频子带部分主要包括图像的具体细节信息和图像中的噪声,需要选取合适的方法去抑制噪声,以及合适的方法突显细节信息。本文采取基于Bayes Shrink的自适应阈值法去抑制噪声,Bayes阈值[23]如下所示:
${T_x} = \lambda {\sigma ^2}/{\sigma ^2}_x$ | (7) |
其中:λ为常数,本文经实验测试取值为0.9;σ2为噪声方差;σx2为信号方差。
噪声标准差采用经典鲁棒中值[9]来估计计算:
$\sigma = ({\rm{median}}|{d_{i,{\rm{ }}j}}|)/0.6745$ | (8) |
${\sigma _x} = \sqrt {\max \left( {\frac{1}{{mn}}\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{d^2}_{i,{\rm{ }}j}} } \left( {l,k} \right) - {\sigma ^2},0} \right)} $ | (9) |
其中:di,j(l,k)表示每层每个方向上的系数。
各个层各个方向上的子带系数矩阵的均值表示如下:
${s_l} = \frac{1}{n}\sum\limits_{k = 1}^n {{s_{l,k}}} n = {2^l} + 2$ | (10) |
其中sl,k表示每层每个方向的系数均值,计算公式如下所示:
${s_{l,k}} = \frac{1}{{mn}}\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{d_{i,{\rm{ }}j}}} } $ | (11) |
各个方向子带系数权重:
$c = {s_{l,k}}/{s_l}$ | (12) |
自适应阈值计算如下所示:
$T = c{T_x}$ | (13) |
本文采用硬阈值法对每层每个方向上的高频系数进行如下去噪处理:
$d{\prime _{i,{\rm{ }}j}} = {\rm{ }}\left\{ \begin{array}{l} {d_{i,{\rm{ }}j}}, |{d_{i,{\rm{ }}j}}| \ge T\\ 0, |{d_{i,{\rm{ }}j}}| < T \end{array} \right.$ | (14) |
经过上述自适应阈值去噪后,为了使图像增强效果更佳,再对各个方向上的高频子带进行引导滤波增强,有效地提高图像细节的清晰度和对比度,并且使边缘梯度更突出。
2.3 实现步骤实现步骤如下:
1) 对原始遥感图像进行NSST分解,得到低频和高频两部分;
2) 根据式(6)对低频子带系数进行线性增强;
3) 根据式(7)~(14)对高频子带系数进行阈值去噪处理;
4) 对阈值去噪处理后的高频系数通过式(5)进行引导滤波增强;
5) 对以上得到的低频和高频系数进行NSST反变换,得到增强后的遥感图像。
为了验证本文算法对遥感图像增强的有效性和视觉性,本文选择两幅大小分别为256×256 和512×512的遥感图像作为测试样本。在实验中,本文算法与直方图均衡(Histogram Equalization,HE)算法、CT模糊增强算法[5]、NSCT反锐化算法[8]、NSST参数化对数算法[21]四种算法作了对比。NSST的分解层数均为4层,各层带通方向子带数目为[32 32 16 16],引导滤波中的窗函数半径r为2,正则化参数ε为0.01。NSCT变换分解层数均为三层,所对应的方向数目分别为8、16、16。实验硬件平台为: CPU 2.8GHz 主频,内存为2GB,软件平台为Matlab R2009b。
本文对图像增强效果的评价分为主观和客观两种方式。主观评价主要是比较不同算法增强后的图像的视觉效果。客观评价可以分为两类:一类是评价空间信息与细节能力的指标,本文选取信息熵这个指标;另一类是评价图像光谱信息的指标,选取峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、均方根误差(Root Mean Square Error,RMSE)和结构相似性(Structural Similarity Index Measurement,SSIM)这三个指标。
信息熵为图像携带信息量的大小,其值越大,表示图像内部越均匀,纹理细节越清晰。
PSNR表示最大值信号和背景噪声之间的比值,其值越大,增强效果越好。
RMSE是衡量两幅图像之间的偏差,其值越小,说明误差越小,增强效果越好。
SSIM是一种衡量两幅图像结构信息相似度的指标,反映了像素之间的相关性,表示增强后的图像结构的失真程度。其值越高,失真度越小,增强效果的质量越好,最大值为1。
为了进一步验证本文算法的优越性,测试50幅图像的平均实验数据如表 2所示。
图 2中NSST参数化增强后的图像存在过增强,亮度偏亮,边缘不太清晰;NSCT反锐化增强后的图像亮度适中,但边缘效果不清晰,有明显的噪声点;CT模糊增强后的图像亮度偏暗,边缘细节也不清楚;直方图均衡增强后的图像亮度适中,但边缘不清晰。图 3中,NSST参数化增强后的图像亮度偏暗,细节和边缘都不太清晰;NSCT反锐化增强后的图像亮度适中,细节清晰,但边缘不平滑:CT模糊算法增强的图像偏暗;直方图均衡增强后的图像亮度偏亮。然而,本文算法在图 2~3中,图像亮度适中,细节信息和边缘都清晰,视觉效果最好。
从表 1中的测试图像1可看出,本文算法的信息熵和PSNR 指标都比其他四种算法高;在SSIM指标上,本文算法比NSST参数化算法略低,比其他三种算法都高。
从表 1中的测试图像2可看出,本文算法的信息熵与NSST参数化算法一样,比NSCT反锐化算法、CT模糊增强和直方图均衡算法都高;在PSNR上,本文算法比NSCT反锐化略低,比NSST参数化算法和直方图均衡算法高;本文算法在SSIM评价指标上比其他算法都高。
通过对50幅图的实验,从表 2可以看出,本文算法的平均信息熵比NSST参数化算法略高,比NSCT反锐化算法提高11.30%,比CT模糊算法提高19.6%,比直方图均衡算法提高34.36%,说明本文算法能获得更清晰的图像细节和纹理;在平均PSNR上,本文算法比NSCT反锐化算法和CT模糊算法都略高,比NSST参数化算法提高14.74%,比直方图均衡算法高12.21%,可以看出本文算法的抗噪性能更好;在平均RMSE上,本文算法比其他几种的算法更低,说明了误差更小,增强效果更加明显;在平均SSIM上,本文算法比其他算法更加接近于1,可以看出本文算法很好保持了图像的结构信息,最大限度地减少了图像的失真,更加适应人类视觉需要。
4 结语本文通过对变化域的研究,提出了一种基于非下采样Shearlet变换域的遥感图像增强方法。该算法结合自适应阈值法抑制图像中噪声,并利用引导滤波增强图像的细节信息和保持边缘梯度。实验结果表明,本文算法不仅在主观上获得更好的视觉效果,而且客观指标中的图像信息熵、PSNR和SSIM上也都有了明显的提升。但本文算法对于明暗对比强烈的遥感图像增强效果不是很好,因此下一步将对此类图像进行研究。
[1] | LEE E, KIM S, KANG W, et al. Contrast enhancement using dominant brightness level analysis and adaptive intensity transformation for remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10 (1) : 62-66. doi: 10.1109/LGRS.2012.2192412 (0) |
[2] | MEN G Z, YANG J L, ZHAO J. Fuzzy contrast enhancement for remote sensing image based on fuzzy set in nonsub-sampled contourlet domain[C]// Proceedings of the 2010 International Conference on Machine Learning and Cybernetics. Piscataway, NJ: IEEE, 2010:735-740. (0) |
[3] | DEMIREL H, ANBARJAFARI G. Image resolution enhancement by using discrete and stationary wavelet decomposition[J]. IEEE Transactions on Image Processing, 2011, 20 (5) : 1458-1460. doi: 10.1109/TIP.2010.2087767 (0) |
[4] | 王智文, 李绍滋, 刘美珍, 等. 基于正交小波变换和伪彩色的遥感图像增强[J]. 计算机测量与控制, 2010, 18 (7) : 1602-1605. ( WANG Z W, LI S Z, LIU M Z, et al. Remote sensing image enhancement based on orthogonal wavelet transformation and pseudo-color image processing[J]. Computer Measurement & Control, 2010, 18 (7) : 1602-1605. ) (0) |
[5] | 彭洲, 赵保军. 基于Contourlet变换和模糊理论的红外图像增强算法[J]. 激光与红外, 2011, 41 (6) : 635-640. ( PENG Z, ZHAO B J. Novel scheme for infrared image enhancement based on contourlet transform and fuzzy theory[J]. Laser & Infrared, 2011, 41 (6) : 635-640. ) (0) |
[6] | LIU L, JIA Z H, YANG J, et al. A medical image enhancement method using adaptive thresholding in NSCT domain combined unsharp masking[J]. IEEE International Journal of Imaging Systems and Technology, 2015, 25 (3) : 199-205. doi: 10.1002/ima.v25.3 (0) |
[7] | WANG J J, JIA Z H, QIN X Z, et al. Medical image enhancement algorithm based on NSCT and the improved fuzzy contrast[J]. IEEE International Journal of Imaging Systems and Technology, 2013, 25 (1) : 7-14. (0) |
[8] | PU X T, JIA Z H, WANG L J, et al. The remote sensing image enhancement based on nonsubsampled contourlet transform and unsharp masking[J]. Concurrency and Computation: Practice and Experience, 2013, 26 (3) : 742-747. (0) |
[9] | 王静静, 贾振红, 覃锡忠, 等. 基于Shearlet变换和多尺度Retinex的遥感图像增强算法[J]. 计算机应用, 2015, 35 (1) : 202-205. ( WANG J J, JIA Z H, QIN X Z, et al. Remote sensing image enhancement algorithm based on shearlet transform and multi-scale Retinex[J]. Journal of Computer Applications, 2015, 35 (1) : 202-205. ) (0) |
[10] | DO M N, VETTERLI M. The contoutlet transform: an efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing, 2005, 14 (12) : 2091-106. doi: 10.1109/TIP.2005.859376 (0) |
[11] | DA CUNHA A L, ZHOU J P, DO M N. The nonsubsampled contourlet transform: theory, design and application[J]. IEEE Transactions on Image Processing, 2006, 15 (10) : 3089-3101. doi: 10.1109/TIP.2006.877507 (0) |
[12] | OLSHAUSEN B A, FIELD D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural image[J]. Nature, 1996, 381 (6583) : 607-609. doi: 10.1038/381607a0 (0) |
[13] | GUO K H, LABATE D. Optimally sparse multidimensional representation using shearlets[J]. IEEE Transactions on Image Processing, 2007, 16 (4) : 918-931. doi: 10.1109/TIP.2007.891785 (0) |
[14] | EASLEY G, LABATE D, LIM W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25 (1) : 25-46. doi: 10.1016/j.acha.2007.09.003 (0) |
[15] | YIN M, LIU W, ZHAO X, et al. A novel image fusion algorithm based on nonsubsampled shearlet transform[J]. Optik, 2014, 125 (10) : 2274-2282. doi: 10.1016/j.ijleo.2013.10.064 (0) |
[16] | KONG W W, WANG B H, LEI Y. Technique for infrared and visible image fusion based on non-subsampled shearlet transform and spiking cortical model[J]. Infrared Physics & Technology, 2015, 71 : 87-98. (0) |
[17] | SINGH S, GUPTA D, ANAND R S, et al. Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network[J]. Biomedical Signal Processing and Control, 2015, 18 : 91-101. doi: 10.1016/j.bspc.2014.11.009 (0) |
[18] | LEI Y. Technique for image de-noising based on non-subsampled shearlet transform and improved intuitionistic fuzzy entropy[J]. Optik, 2015, 126 (4) : 446-453. doi: 10.1016/j.ijleo.2014.09.008 (0) |
[19] | GAO G R. Image denoising by non-subsampled shearlet domain multivariate model and its method noise thresholding[J]. Optik, 2013, 124 (22) : 5756-5760. doi: 10.1016/j.ijleo.2013.04.014 (0) |
[20] | 吴一全, 孟天亮, 吴诗婳. 基于NSST和人眼感知保真约束的图像自适应增强[J]. 光电子·激光, 2015, 26 (5) : 978-985. ( WU Y Q, MENG T L, WU S H. Adaptive image enhancement based on NSST and constraint of human eye perception information fidelity[J]. Journal of Optoelectronics·Laser, 2015, 26 (5) : 978-985. ) (0) |
[21] | 陶飞翔, 吴一全. 非下采样Shearlet变换与参数化对数图像处理相结合的遥感图像增强[J]. 测绘学报, 2015, 44 (8) : 884-892. ( TAO F X, WU Y Q. Remote sensing image enhancement based on non-subsampled shearlet transform and parameterized logarithmic image processing model[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44 (8) : 884-892. ) (0) |
[22] | HE K M, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35 (6) : 1397-1409. doi: 10.1109/TPAMI.2012.213 (0) |
[23] | 雷浩碰, 李峰. 基于多小波-非采样Contourlet变换的自适应阈值图像去噪方法[J]. 计算机应用, 2010, 30 (5) : 1351-1355. ( LEI H P, LI F. Image de-noising algorithm using adaptive threshold based on multi-wavelet nonsubsampled contourlet transform[J]. Journal of Computer Applications, 2010, 30 (5) : 1351-1355. ) (0) |