2. 中国海洋大学 信息工程中心, 山东 青岛 266071 ;
3. 中国民用航空青岛空中交通管理站, 山东 青岛 266108
2. Center of Information Engineering, Ocean University of China, Qingdao Shandong 266071, China ;
3. Qingdao Air Traffic Management Station of China Civil Aviation, Qingdao Shandong 266108, China
随着近年来遥感技术的发展,对多时相高分辨率遥感图像进行分析,从而满足某些特定民用军用需求已成为遥感应用与图像处理领域的热点,如变化检测技术可用于自然灾害评估以及军事态势感知。而在对多时相遥感图像进行分析前,需要对其进行精确的几何配准,使得多时相图像中的同一地物目标在图像中的相对位置以及几何关系具有较强的一致性,以便于后续计算机的智能处理[1]。相关研究表明,高精度的配准能够有效保障多时相高分辨率遥感图像分析结果的准确性[2]。
当前配准方法主要分为两大类:基于图像灰度信息的配准方法与基于图像特征信息的配准方法[3]。基于灰度信息的图像配准方法需统计两幅图像的灰度相关性,当相关性统计量取最大值时两幅图像达到完全配准的状态[4],当前主要有互相关法、交互信息法等,如钟家强等[5]提出的基于互信息相似性度量的多时相遥感图像配准,而在多时相遥感图像配准时,由于成像条件差异导致不同时相遥感图像之间的明暗程度易出现显著差异,同时因成像时间不一样,图像之间会出现变化地物导致图像间灰度波动较大,使用基于灰度信息的算法实现多时相遥感配准稳健性较差。基于特征信息的图像配准方法通过提取图像中的特征点、特征线、特征区域等信息,然后对提取的点、线、区域[6]等进行特征描述和匹配,通过对应关系建立变换模型,完成图像的配准操作[7]。其中,尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)特征点因其具有良好的旋转、尺度不变性,在图像配准中被广泛运用,如Huo等[8]提出的基于SIFT特征点分层匹配算法。但在多时相遥感图像中,两类地物容易影响特征点的提取与匹配:第一类是易变化地物,尤其是在高分辨率遥感图像中,地物细节信息更加丰富,一部分在中低分辨率图像中没有表现出明显变化的地物,在高分遥感图像中其变化表现得非常显著,如汽车、植被;第二类是容易受拍摄角度差异影响而发生明显相对形变的地物,如楼房,该类地物在图像上容易产生相对视差偏移[9]。上述两类地物产生的几何变化属于异常形变,在配准过程中均会影响特征点的准确提取与有效匹配,降低配准的精度,同时无效特征点的提取会影响配准速度。
综上所述,在对多时相高分辨率相遥感图像进行配准时,需要充分考虑变化地物区域与视差偏移区域对配准精度的影响。针对上述情况,本文提出了一种基于异常区域感知的多时相高分辨率遥感图像配准算法。该算法分为粗配准与精配准两个步骤来完成对图像的配准操作,首先通过提取多时相遥感图像中高尺度空间的SIFT特征点,计算特征点相似度确定匹配的特征点对进而建立变换模型,完成图像的粗配准;其次在粗配准结果的基础上对待配准图像进行分块,利用灰度相关性计算待配准图像中每块区域的相对形变趋势,检测出可能出现相对视差偏移区域的图像块,对图像中不受相对视差偏移影响的区域进行低尺度空间SIFT特征点的提取与匹配,进而完成图像的精配准。本文只考虑参考图像与待配准图像间的几何变换属于线性变换的情况,因此在变换模型的选择上使用了仿射变换模型。实验结果表明,在多时相高分辨率遥感图像配准中,与其他典型的图像配准方法进行比较,本文方法可获取更高的配准精度。
1 基于异常区域感知的图像配准本文算法选择基于图像特征信息的配准策略,通过对图像进行SIFT特征点提取匹配、建立变换模型,进而完成图像配准。但与同时向多源遥感图像配准方法相比,多时相遥感图像由于成像时间以及拍摄角度差异,导致多时相图像中会出现变化地物以及地物相对视差偏移现象,如图 1所示。在时相1与时相2图像中,因为拍摄时间的原因,圆框标定区域内的地物产生了变化,由裸图与植被变化为楼房;因为拍摄角度差异,方框标定区域内的地物发生了相对视差偏移现象。
本文定义上述现象发生的区域为异常区域,在多时相遥感图像配准中,通过制定适当的策略来控制SIFT特征点选取的有效性至关重要。为避免因异常区域取点而导致配准整体精度下降,本文算法通过基于变化区域感知的图像快速粗配准与基于相对视差偏移区域感知的图像精配准两步完成多时相高分辨率遥感图像高精度配准,在特征点提取过程中,本文算法采用了计算机自动提点模式。其流程如图 2所示。
多时相遥感图像因其获取时间不同,地物在前后时相发生变化的现象普遍存在,在高分辨遥感图像中,地物细节更加丰富,较小的地物变化也会在图像上明显呈现。在基于特征点的图像配准中,当提取的特征点落在变化地物上,不仅会因为提取过多的无用特征点而增加计算机量、影响配准速度,同时在特征点匹配筛选过程中,过多的离群点会对最终变换模型的估计产生影响,进而降低配准精度。
为了减少变化地物对特征点提取的影响,需对图像中易发生变化的地物进行分析。在高分辨率遥感图像中,相对易产生变化的地物往往尺寸较小,如小的房屋、汽车等,因此特征点的选取也应该考虑其对不同地物的表达能力。SIFT特征点可有效检测图像中的斑点,同时其引入尺度的概念,其实质可以归为在不同尺度空间上查找斑点,而不同尺度空间的斑点往往对应了不同尺寸的地物[10]。SIFT算法将图像的尺度空间表示成一个函数L(x,y,σ),它是由一个变尺度的高斯函数G(x,y,σ)与图像I(x,y)卷积所产生的高斯图像金字塔,如式(1):
$L(x,y,\sigma )=G(x,y,\sigma )\otimes I(x,y)$ | (1) |
其中:⊗表示在x方向与y方向进行的卷积操作。
G(x,y,σ)的计算公式如下:
$G(x,y,\sigma )=\frac{1}{2\pi {{\sigma }^{2}}}{{e}^{{-({{x}^{2}}+{{y}^{2}})}/{2{{\sigma }^{2}}}\;}}$ | (2) |
其中σ表示尺度空间坐标。其与高斯图像金字塔分解式产生的组数(O)与每组包含层数(S)的关系由式(3)描述:
$\sigma (o,s)={{\sigma }_{0}}{{2}^{o+s/S}}$ | (3) |
其中:o、s 分别表示当前尺度空间所对应的组号与层号;σ0表示基准层尺度。
SIFT特征点的选取有具体的物理意义,即低尺度层的特征点对应图像中的小斑点,其对应地物尺寸较小,如汽车、房屋等;而高尺度层的特征点对应图像中的大斑点,其对应地物尺寸较大,如大面积的裸地等,这些地物往往具相对稳定的形态,轻易不会发生变化[11]。如图 3所示,圆圈的中心表示特征点的位置,半径表示对应的尺度空间,同时还描述了特征的主方向。低尺度空间半径短,高尺度空间半径长,利用不同尺度空间中特征点对不同地物的差异性表达感知易变地物与相对稳定地物。
在高尺度层提取的特征点虽然具有较好的稳定性,但其数量有限,无法完成仿射变换模型的精确估计。因此利用SIFT特征点的上述特征,提取高尺度层特征点对图像进行快速粗配准。粗配准的基本步骤如下:
步骤1 高尺度空间的SIFT特征点提取。本实验中用的遥感图像尺寸为4096×4096,在构建尺度空间时,尺度空间的组数和每组的层数都取5,选取第4组、第5组尺度空间的特征点用于特征点的匹配工作。
步骤2 基于穷举法的特征点匹配。由于用作特征匹配的特征点取自高尺度空间,其数量与低尺度空间特征点数量相比大量减少,因此在特征匹配时采用了穷举法,在待配准图像中寻找与参考图像中的每个特征点特征相似度最近与次近的特征点,并利用最邻近距离比值法确定最终的匹配特征点对。
步骤3 确定仿射变换变换模型完成初配准。利用特征点对之间的几何变换关系,确立仿射变换模型,对待配准图像进行几何校正,完成图像的图配准。
1.2 基于视差偏移区域感知的图像精匹配通过图像粗配准过程,参考图像和待配准图像之间的几何形变在一定程度上得到了校正,如缩放、位移以及旋转,配准精度约为5个像素,为了进一步提升配准精度,需要对经过粗配准后的图像与参考图像进行几何精校正。在该步骤中,为描述方便简洁,称经过粗配准后的图像为待精配图像。在图像精配准过程中,需要找到更多的、有准确对应关系的特征点对来建立准确的仿射变换模型,因此在该过程中,低尺度空间的SIFT特征点被提取并用于计算变换模型;但低尺度空间的特征点匹配时容易受到地物相对偏移区域的影响,因此引入了灰度相关性度量来感知上述区域,严格控制特征点的选取范围,从而保证匹配特征点对的准确性。
为获取图像中发生地物相对偏移的潜在区域,将参考图像进行分块,统计参考图像中的图像块与待精配图像中相同大小区域图像块的灰度相关性。当相关性最大时,参考块在X、Y方向上的移动距离即为参考块的相对偏移量。分析所有图像块偏移量之间的关系,利用偏移量的差异性感知存在相对偏移的潜在区域。图像块之间的灰度相关性通过相关系数进行计算,如式(4)所示:
$R(i,j)=\frac{\sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{n}{I_{_{i,j}}^{r}I_{_{i,j}}^{t}}}}{\sqrt{\sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{n}{{{(I_{i,j}^{r})}^{2}}}}}.\sqrt{\sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{n}{{{(I_{i,j}^{t})}^{2}}}}}}$ | (4) |
其中:Ii,jr、Ii,jt分别表示参考图像与待精配图像块中的第(i,j)个像素对应的灰度值;m、n表示图像块的行列数。
由于参考图像与待精配图像图像之间经过了图像粗匹配,配准误差约为5个像素,因此在待精配图像中查找与参考图像中图像块相关性最大的区域时,可充分利用5个像素配准误差的空间距离约束来控制相关性计算时图像块的搜索范围,有效减少算法耗时,如图 4所示。以参考图像中间图像块为例,其在待精配图像中搜索其相似性最大的区域时,不用遍历整个待精配图像,而只需要遍历其在待精配图像中相应位置往四周扩展一定范围的区域,扩展的范围可根据粗配准误差确定,经过粗配的图像配准精度在5个像素以内,因此搜索范围向四周扩展范围为5个像素区域。
对参考图像中的每个分块在待精配图像中相应范围进行相似度计算,相关系数最接近1时其在x、 y方向上产生的位移即为该图像块的相对偏移量,记为(dx,dy)。将所有图像块产生的相对偏移量在坐标系中进行图形化显示,如图 5所示,每个三角形代表一个图像块,其对应坐标值表示该图像块在x方向和y方向的相对偏移量。
分析参考图像与待精配图像中每个图像块的地物状态,发现对于没有发生变化以及不存在视差偏移的图像块,其计算出的相对偏移量一致性较强,其对应的三角形分布规律性较强,主要集中在图中圆圈范围内,而发生变化以及存在视差偏移的图像块,其对应的三角形分布规律性较差,出现明显的离群现象,因此利用相似性度量可有效感知异常图像块。所以通过K-means算法对相对偏移量进行二分类处理,可有效区分适合特征点提取的有效图像块与不适合特征点提取的异常图像块,在此基础上对提取的低尺度特征点进行筛选,提升了特征点的有效性,进而完成图像的精配准[12]。精配准的基本步骤如下:
步骤1 低尺度空间的SIFT特征点提取。在构建尺度空间时,尺度空间的组数和每组的层数都取5,选取第1、2、3组尺度空间的特征点用于特征点的匹配工作。
步骤2 基于相似性度量的异常区域感知。将参考图像进行分块,计算每一块在待精配图像中相关性最高的位置,并记录该位置的相对偏移量,利用K-means算法对每个块的相对偏移量进行分类以感知异常图像块,以此判定特征点有效分布区域。
步骤3 有效特征点的快速匹配。利用最邻近距离比值法确定最终的匹配特征点对,由于已经通过粗配准,待精配准的图像对之间已不存在较大的几何形变,因此,参考图像中有效特征点在寻找其匹配点时,不用在全图进行搜索,仅需要根据步骤2的分块,在待精配图像的对应块及其相邻块中寻找匹配点,在提升特征点对匹配精度的同时可有效减少时间消耗。
步骤4 确定仿射变换变换模型完成精配准。利用低尺度特征点对之间的几何变换关系,确立更准确的仿射变换模型,对待精配准图像进行几何校正,完成图像的精配准。
通过粗、精两步配准,克服了异常区域对有效特征点提取的影响,能提升配准精度;同时,通过对不同尺度以及区域选择的取点方法,控制了配准过程中参与匹配的特征点数量,减少了配准的时间消耗。
2 实验结果及分析利用基于异常区域感知的图像配准方法,对多组多时相高分辨率遥感图像进行配准操作,实验结果显示,本文方法在减少变化区域以及视差偏移区域对图像配准的影响方面表现出了良好的性能,能够有效地实现多时相高分辨率遥感图像的配准。
在此对用于实验的典型的数据作简单描述,该组数据为多时相高分辨率遥感图像,如图 6所示。时相1与时相2的图像均为分辨率为1m的、由Ikonos卫星获取的全色与多光谱三波段融合图像,拍摄区域为青岛,图像大小为4096×4096,侦照时间分别为2012年9月19日与2014年9月25日。该图像对中存在因拍摄时间差异而产生的地物变化区域以及因拍摄角度差异而导致的视差偏移区域,能较好地验证本文算法。
本实验过程中,以时相1图像为参考图像,时相2图像为待配准图像,同时在构建尺度空间时建立了5层,每层5组的高斯图像金字塔,基准层尺度σ0取默认值1.6×21/S,S=5。在粗配准阶段,提取尺度空间中第4、5组中的SIFT特征点,在精配准阶段,提取尺度空间中第1、2、3组中的SIFT特征点,配准结果以镶嵌图的形式展示,如图 7所示,其中方框外为2014年图像,方框内为2012年图像。
下面从主观与客观两方面对提出的配准算法进行评价:
1) 主观上,在镶嵌图像中,时相1与时相2图像中的地物边缘均能很好地对齐,如公路与河流区域,目视无法看出因为配准误差而产生的错位现象。
2) 客观上,将该算法与经典的基于Harris角点、SIFT特征的图像配准算法以及侯鹏洋等[13]提出的基于SIFT的多时相遥感图像逐层匹配算法在配准精度与时间消耗两方面进行了比较,选用均方根误差(Root Mean Square Error,RMSE)与正确匹配率(Correct Matching Ratio,CMR)作评价指标来对配准精度进行描述[14]。
为计算RMSE,首先在配准好的两幅图像中选取100对均匀分布的训练控制点用以建立图像之间的仿射变换模型,其次再在参考图像中选取50个均匀分布的测试控制点,坐标位置为(xiorig,yiorig),利用前一步建立的仿射变换模型,计算其在目标图像中的坐标位置(xi′,yi′),
最后由式(5)计算RMSE:
$RMSE=\sqrt{{\left[ \sum\limits_{i=1}^{n}{({{({{x}_{i}}^{\prime }-x_{i}^{orig})}^{2}}+{{({{y}_{i}}^{\prime }-y_{i}^{orig})}^{2}})} \right]}/{n}\;}$ | (5) |
其中n为测试控制点个数。计算出的RMSE值越小表明配准精度越高。
CMR为特征点正确匹配对数量占总匹配数量的百分比。在计算过程中,匹配的特征点对是否正确由其配准残差确定,当匹配特征点对残差不超过2α时判定其为正确匹配点对,其中α为参考图像与待配准图像分辨率的比值[15]。,本文算法在配准精度上优于另外两种方法,获得了较高的配准精度。同时,由于采用了特征点分层提取的策略,在粗配与精配中减少了用于匹配的特征点数量,空间距离约束也有效控制了匹配点对的搜索范围,因此本文方法在配准速度上也有一定的提升。
异常区域在分析多时相高分辨率遥感图像配准中会直接影响特征点的有效匹配进而降低配准精度。本文对影响特征点匹配的异常区域进行分析并将其划分为变化区域与视差偏移区域两类,通过基于异常区域感知的算法实现图像的高精度配准。在对不同异常区域进行感知时,本文选用了不同的策略,首先利用尺度空间中SIFT特征点与不同地物属性的对应关系感知变化区域,提取高尺度空间特征点完成图像的粗配准;其次利用灰度相关性感知视差偏移区域,进而判定用于精配准的特征点选取区域完成图像的精配准。实验结果表明,该算法能够较好地避免异常区域中无效特征点的提取,同时利用空间约束限定特征点的匹配范围,在保证配准精度的同时提升了计算速度。本文中利用灰度相关性来判定视差偏移区域,但灰度信息易受光照影响,而梯度信息相对稳定,因此,下一步研究将关注如何有效地将梯度信息应用到多时相高分遥感图像配准中。
[1] | SONG Z, ZHOU S, GUAN J. A novel image registration algorithm for remote sensing under affine transformation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52 (8) : 4895-4912. doi: 10.1109/TGRS.2013.2285814 (0) |
[2] | VONGSY K, EISMANN M T, MENDENHALL M J. Extension of the linear chromodynamics model for spectral change detection in the presence of residual spatial misregistration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (6) : 3005-3021. doi: 10.1109/TGRS.2014.2367471 (0) |
[3] | BARNEA D I, SILVERMAN H F. A class of algorithms for fast digital image registration[J]. IEEE Transactions on Computers, 1972, 21 (2) : 179-186. (0) |
[4] | XING C, QIU P. Intensity-based image registration by nonparametric local smoothing[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33 (10) : 2081-2092. doi: 10.1109/TPAMI.2011.26 (0) |
[5] | 钟家强, 王润生. 基于互信息相似性度量的多时相遥感图像配准[J]. 宇航学报, 2006, 27 (4) : 690-694. ( ZHONG J Q, WANG R S. Image registration based on mutual information for multi-temporal remote sensing[J]. Journal of Astronautics, 2006, 27 (4) : 690-694. ) (0) |
[6] | 舒小华, 沈振康. 基于特征区域的图像自动配准[J]. 计算机应用, 2012, 32 (3) : 759-761. ( SHU X H, SHEN Z K. Automatic image registration based on feature region[J]. Journal of Computer Applications, 2012, 32 (3) : 759-761. ) (0) |
[7] | WANG W, LUO D, LI W. Algorithm for automatic image registration on Harris-Laplace features[J]. Journal of Applied Remote Sensing, 2009, 3 (1) : 033554. doi: 10.1117/1.3256135 (0) |
[8] | HUO C, PAN C, HUO L, et al. Multilevel SIFT matching for large-size VHR image registration[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9 (2) : 171-175. doi: 10.1109/LGRS.2011.2163491 (0) |
[9] | MOORTHI S M, GAMBHIR R K, MISRA I, et al. Adaptive stochastic gradient descent optimization in multi temporal satellite image registration [C]//Proceedings of the 2011 IEEE Recent Advances in Intelligent Computational Systems. Piscataway, NJ: IEEE, 2011: 373-377. (0) |
[10] | LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60 (2) : 91-110. doi: 10.1023/B:VISI.0000029664.99615.94 (0) |
[11] | GONG M, ZHAO S, JIAO L, et al. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52 (7) : 4328-4338. doi: 10.1109/TGRS.2013.2281391 (0) |
[12] | ISA N A M, SALAMAH S A, NGAH U K. Adaptive fuzzy moving K-means clustering algorithm for image segmentation[J]. IEEE Transactions on Consumer Electronics, 2009, 55 (4) : 2145-2153. doi: 10.1109/TCE.2009.5373781 (0) |
[13] | 侯鹏洋, 季艳, 高峰, 等. 一种基于SIFT特征的快速逐层遥感图像配准方法[J]. 遥感技术与应用, 2014, 29 (5) : 873-877. ( HOU P Y, JI Y, GAO F, et al. Fast hierarchical registration method for remote sensing image based on SIFT[J]. Remote Sensing Technology and Application, 2014, 29 (5) : 873-877. ) (0) |
[14] | WANG X, XU Q, HAO Y, et al. Robust and fast scale-invariance feature transform match of large-size multispectral image based on keypoint classification[J]. Journal of Applied Remote Sensing, 2015, 9 (1) : 096028. doi: 10.1117/1.JRS.9.096028 (0) |
[15] | XU Q, ZHANG Y, LI B. Improved SIFT match for optical satellite images registration by size classification of blob-like structures[J]. Remote Sensing Letters, 2014, 5 (5) : 451-460. doi: 10.1080/2150704X.2014.917774 (0) |