0 引言

随着工业技术和现代科学技术的迅速发展,机械制造水平不断提高,呈现出向超大型和微型化两个极端发展的趋势。航空、医疗以及纺织等工业领域中微小孔器件的应用越来越广泛,如喷墨打印机喷嘴、纺织工业中的喷丝孔等^[1]。这些微孔器件中的微孔质量直接影响到整机的性能,因此对这些具有微小孔类零件提出精密或超精密加工的同时,也对其检测效率和精度提出了更高的要求^[2-3]。

小孔测量根据测头与被测孔壁是否接触可分为接触式测量和非接触式测量两大类^[4]。目前小孔测量方法主要是人工使用放大镜直接进行观察或将工业内窥镜^[5]插入孔内进行缺陷检测与识别。但是,人工测量方法费时费力,检测效率低; 一般工业内窥镜由于本身结构尺寸的限制,难以进入直径小于3 mm的小孔进行检测,而采用光纤式内窥镜则成像分辨率较低,无法获得孔壁内表面的清晰图像。

本文针对上述问题,提出一种基于斜入射式显微图像的小孔内表面缺陷检测方法。该方法将显微光学成像系统相对被测小孔轴线倾斜一定角度,并沿小孔轴线移动获取一系列孔壁序列图像;然后提取感兴趣区域(Region Of Interest,ROI)并进行配准预处理;接着通过多聚焦图像融合算法,获取孔内表面清晰图像;最后使用阈值化缺陷提取算法解决具有一定长径比、小尺度孔内表面缺陷检测问题。该方法与传统人工目测方法相比,能够实现孔表面缺陷的自动定量分析,因此检测精度高,同时也打破了一般工业内窥镜由于自身尺寸限制无法检测小尺度孔的局限性。其主要工作流程如图 1所示。

1 斜入射式小孔内表面缺陷检测系统设计

针对小孔内表面缺陷检测问题,设计了基于多聚焦图像融合的斜入射式显微光学检测系统。该检测系统主要包含:CCD(Charge Coupled Device)工业相机、显微光路、同轴光源、前景光源、三维精密直线移动机构及计算机等,检测系统的结构设计如图 2所示。其中CCD相机、显微光学镜头、同轴光源、前景光源等构成显微光学成像系统,根据小孔孔径,计算光路斜入射角后,通过角度调节机构将成像系统按一定角度倾斜安装在竖直方向运动的Z轴运动机构上。

小孔内表面缺陷检测系统的图像采集步骤如下:1)将显微光学成像系统聚焦在待检测小孔零件的上端面位置;2)依次开闭前景光与同轴光,采集两幅同位置不同光照条件的小孔图像;3)将CCD相机每向下移动一定的距离重复步骤2)各采集两幅图像,最终得到一系列聚焦在小孔内表面不同位置的图像序列。本文以其中相邻位置 A、B 的图像序列进行图像融合实验,其余图像序列融合过程类似。位置 A、B 采集的图像如图 3所示。

2 小孔内表面ROI提取与配准方法 2.1 小孔内表面感兴趣区域提取方法

初步采集得到的图像往往包含有非小孔内表面区域,若直接进行图像处理,则会增加图像处理过程的复杂度。因此需要先对图像进行预处理,即先提取小孔内表面感兴趣区域,力图减少不必要的计算量,便于后续的分析处理。

通过实验发现,若直接对打开同轴光时采集到的小孔图像进行目标区域提取,其结果不是很理想,甚至由于小孔内表面与端面区域灰度差异不明显而无法实现ROI提取。针对上述问题,本文采用前景光与同轴光相结合的方法采集图像,然后再进行小孔内表面区域提取。ROI具体提取步骤为:

1) 先将打开前景光时采集的位置 A、B 处图像进行二值化,由于灰度差异明显,易得到小孔内表面的掩膜模板,如图 4(a)、(b)所示;

2) 然后将关闭前景光打开同轴光时采集到的位置 A、B 处图像利用上一步骤中的模板进行掩膜处理,可得到较为理想的小孔内表面区域,如图 4(c)、(d)所示。

2.2 基于SURF特征点的小孔内表面图像配准

在进行图像融合之前,发现由于CCD相机移动等因素,造成采集到的小孔图像序列的位置有一定偏移,若直接进行图像融合,则融合效果非常差。因此,在融合之前需要先对小孔图像序列进行配准,以得到清晰的融合图像。本文采用基于特征点的方法实现小孔内表面序列图像的配准,由于快速鲁棒性特征(Speeded Up Robust Feature,SURF)算法^[6]是对SIFT(Scale Invariant Feature Transform)算法^[7]的简化与改进,其计算速度和鲁棒性好,因此采用SURF算法提取小孔内表面图像中的特征点,实现多聚焦图像之间的配准。小孔内表面图像具有纹理图像的特点,若直接通过SURF算法进行特征点提取和配对会产生较多的误匹配,由先验知识可知,这些序列图像间主要为尺度和平移变化,且对应特征点之间平移距离有限,因此在特征点匹配时增加了特征点之间的距离约束条件。以位置 A、B 处的两幅小孔ROI图像为例,来说明所采用的配准算法的具体步骤:

1) 基于SURF算法提取初始匹配点,如图 5(a)所示；

2) 通过施加距离约束条件,剔除误匹配点,如图 5(b)所示；

3) 根据检测到的匹配点求出映射矩阵后对小孔ROI图像进行配准。

由图 5可以看出,距离约束的引入有效地剔除了误匹配点,明显提高了特征点匹配的准确性。为验证配准是否对图像融合具有影响,将配准前后两幅小孔ROI图像直接采用加权平均法进行融合,得到融合结果如图 6所示。由图 6(a)可以看出,将未配准的小孔图像直接融合得到的融合图像存在重影并明显模糊;而经过配准后再进行图像融合,得到的融合图像明显清晰,如图 6(b)所示。

3 小孔内表面多聚焦图像融合算法

经过小孔内表面ROI提取与配准等准备工作,接下来对小孔内表面图像序列进行融合操作。本文针对小孔内表面图像特点,采用小波变换法对采集到的图像序列进行融合操作,以得到小孔内表面全聚焦融合图像。实验时仅对位置 A、B 处的小孔内表面图像进行研究,多幅图像融合和两幅图像融合过程类似,只需把相关参数或指标的选择推广到多幅图像即可。

基于小波变换的多聚焦图像融合^[8]基本步骤为:首先计算两幅待融合图像各自的小波变换;然后在变换域选取合适的融合规则分别对图像的低频和高频系数进行处理;最后将新的组合系数通过小波逆变换进行重构,得到融合后的图像。其中关键步骤是融合规则的选取,这里采用基于区域清晰度的改进小波图像融合算法^[9]。

小波变换的低频子图反映图像的概况和近似特性,因此采用基于点锐度算子的清晰度评价函数,像素(i,j)处的点锐度计算公式如下:

$EAV(i,j)=\frac{1}{m\times n}\sum\limits_{j=1}^{n}{\sum\limits_{i=1}^{m}{\sum\limits_{a=1}^{8}{\left| \frac{\Delta f}{\Delta x} \right|}}}$

(1)

其中:Δf为灰度变化幅值；Δx为像元间的距离增量。先求邻域内各点与其八邻域点灰度差绝对值的加权和,再将m×n邻域内所有点所得值相加除以像素总数。加权和的权值与两点间的距离相关,这里对于水平和垂直方向的邻域点权值取1,对角线方向的邻域点权值取${\sqrt{2}}/{2}\;$。

高频子图反映图像的亮度突变特性,即图像的区域边界特性,因此取四邻域拉普拉斯算子和的平方作为清晰度评价函数。像素(i,j)处清晰度计算公式如下:

${{\nabla }^{2}}f(i,j)=\frac{{{\partial }^{2}}f(i,j)}{\partial {{x}^{2}}}+\frac{{{\partial }^{2}}f(i,j)}{\partial {{y}^{2}}}$

(2)

$L(i,j)={{({{\nabla }^{2}}f(i,j))}^{2}}$

(3)

其中:${{\nabla }^{2}}f(i,j)$为像素f(i,j)的四邻域Laplacian算子；L(i,j)表示清晰度值。

进行融合时,采用自适应准则获得融合图像的高低频系数,计算公式如下:

$w_{F}^{L}=\left\{ \begin{matrix} w_{A}^{L}, \\ w_{B}^{L}, \\ {{k}_{1}}w_{A}^{L}+{{k}_{2}}w_{B}^{L}, \\ \end{matrix} \right.\begin{matrix} {{E}_{A}}>{{E}_{B}}+{{H}_{L}} \\ {{E}_{A}}＜{{E}_{B}}-{{H}_{L}} \\ \text{其他} \\ \end{matrix}$

(4)

$\left\{ \begin{align} & {{k}_{1}}=\frac{{{E}_{A}}}{{{E}_{A}}+{{E}_{B}}} \\ & {{k}_{2}}=1-{{k}_{1}} \\ \end{align} \right.$

(5)

其中:E_A和E_B分别表示源图像A、B高低频子图某点的清晰度值。H_L为自定义的门限阈值,当两幅图像的清晰度值差异超过门限阈值时,则该处的融合系数直接来源于清晰区域;否则由两幅子图的清晰度值决定融合系数权重。

4 小孔内表面缺陷检测方法

为验证本文方法的有效性,以直径为2 mm的直线型喷丝板导孔为检测对象,如图 7所示。采用前述章节所提出的孔壁图像采集方法采集小孔内孔表面的序列图像,并通过图像配准与融合方法获得小孔内表面全聚焦融合图像,接下来对其内表面缺陷进行检测识别。常见的小孔内表面缺陷主要有针孔点、划痕及溶蚀斑等,喷丝板导孔内表面缺陷的形成与其工作环境有关。在化学纤维的制造过程中,喷丝板导孔在经过多次使用后,会在其内表面形成溶蚀斑点或斑块,影响纺丝质量。因此,本文主要对喷丝板导孔内表面上形成的溶蚀斑进行定量检测与分析。

通过观察发现,经光源照射后采集到的溶蚀斑点或斑块图像呈现为白色,经过二值化处理后,可对白色区域面积进行统计,作为其缺陷检测分析依据。实验时选取位置A、B处未融合的小孔内表面图像以及基于改进小波方法融合后的小孔内表面全聚焦图像进行对比分析。其具体步骤如下:

1) 选取图像部分区域进行实验操作,选择区域如图 8所示。

2) 将选定区域图像进行二值化处理,二值化图像如图 9所示。

3) 统计二值化图像中白色区域面积,计算溶蚀斑面积率。溶蚀斑面积率计算公式为:

$\mu ={{A}_{1}}/{{A}_{2}}$

(6)

其中:A₁为溶蚀斑面积；A₂为孔内表面面积； μ表示溶蚀斑面积率。

5 实验结果与分析

为定量分析图像融合效果与质量,采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和互信息(Mutual Information,MI)两种指标对融合图像进行评价分析^[10]。定义如下：

$PSNR=10\lg \frac{{{255}^{2}}\times m\times n}{\sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{n}{{{[F(i,j)-R(i,j)]}^{2}}}}}$

(7)

其中：R为理想融合图像；F为实际融合图像；m和n分别表示图像的行数和列数。

$MI((A,B),F)=\sum\limits_{i=0}^{255}{\sum\limits_{j=0}^{255}{\sum\limits_{k=0}^{255}{{{P}_{abf}}(i,j,k)\operatorname{l}\text{b}\frac{{{P}_{abf}}(i,j,k)}{{{P}_{ab}}(i,j){{P}_{f}}(k)}}}}$

(8)

其中:A、B为源图像；P_f为图像F的归一化灰度直方图；P_ab为图像A和B的归一化联合灰度直方图；P_abf为图像A、B和F的归一化联合灰度直方图。

PSNR越大,说明融合效果与质量越好；反之则融合效果越差。MI越大,说明融合图像从原始图像提取的信息越多,融合效果越好。

为客观评价配准对小孔图像融合的影响,采用PSNR和MI两种指标对小孔配准前后加权平均融合图像进行比较。利用式(7)~(8)可得:配准前图像PSNR为23.9555,MI为3.7372;配准后图像PSNR为27.6457,MI为5.0763。由数据分析可知,配准后图像融合质量明显改善,因此配准有效地提高了图像融合的准确度。

为验证本文改进小波算法的有效性,分别与其他几种图像融合算法进行仿真对比实验。图 10(a)为离散小波变换(Discrete Wavelet Transform,DWT)^[11]得到的融合结果;图 10(b)为第二代Curvelet变换(Second Generation Curvelet Transform,SGCT)^[12]得到的融合结果;图 10(c)为文献^[13]算法得到的融合结果;图 10(d)为本文改进小波算法得到的融合结果。其中小波函数采用Daubechies的“db4”小波,分解层数为4层。

采用PSNR、MI和运行时间指标对几种融合算法得到的融合图像进行评价比较,实验数据如表 1所示。分析表 1可知,本文方法融合质量优于DWT、SGCT算法,而文献^[13]算法虽然由MI指标显示融合质量优于本文方法,但是运行时间过长,无法满足小孔内表面缺陷的快速检测要求。综合融合效果和检测效率两方面考虑,本文方法既能满足融合质量要求,又能极大提高小孔检测效率。

利用式(6)计算未融合前位置 A、B处及融合后小孔内表面选定区域的溶蚀斑面积率分别为42%、41%和43%。观察实验结果并分析数据,可发现在位置A、B处小孔内表面图像的离焦区域中,较小的溶蚀斑点由于离焦模糊经二值化后没有显示出来,而较大的溶蚀斑块由于离焦产生光影经二值化后斑块区域比实际稍大,因此对孔内表面溶蚀区域分布的判断分析造成严重影响；而经改进小波变换法融合得到的小孔内表面全聚焦图像二值化处理后,克服了上述离焦区域的弊端,能够对其孔内表面的溶蚀面积率进行较为精确的检测分析。

6 结语

本文提出一种基于显微光学的斜入射式小孔内表面缺陷检测方法,通过图像配准与多聚焦融合方法解决采用斜入射显微光路进行小孔检测时所产生的多幅孔壁图像偏移以及景深有限造成的无法获取全景聚焦图像的问题。通过本文所提出的检测方法,可以获得直径小于3 mm、具有中等长径比小孔的内表面清晰图像,解决目前小孔内表面成像分辨率低的问题。最后对直径2 mm的喷丝板导孔内表面的溶蚀斑痕进行检测分析,实验结果说明了文中方法的可行性与实用性。但是,目前该检测系统尚存在一定的不足,如无法采用该方法检测大长径比的小孔内壁缺陷等。