计算机应用   2017, Vol. 37 Issue (11): 3157-3161, 3167  DOI: 10.11772/j.issn.1001-9081.2017.11.3157
0

引用本文 

杨绪兵, 覃欣怡, 张福全. 基于样条的林火图像多阈值分割算法[J]. 计算机应用, 2017, 37(11): 3157-3161, 3167.DOI: 10.11772/j.issn.1001-9081.2017.11.3157.
YANG Xubing, TAN Xinyi, ZHANG Fuquan. Forest fire image segmentation algorithm with adaptive threshold based on smooth spline function[J]. Journal of Computer Applications, 2017, 37(11): 3157-3161, 3167. DOI: 10.11772/j.issn.1001-9081.2017.11.3157.

基金项目

国家自然科学基金资助项目(61472186,50375057);江苏省自然科学基金资助项目(BK20161527)

通信作者

杨绪兵, E-mail:xbyang@njfu.edu.cn

作者简介

杨绪兵(1973-), 男, 安徽六安人, 副教授, 博士, CCF会员, 主要研究方向:模式识别、神经计算;
覃欣怡(1992-), 女, 山西交城人, 硕士研究生, 主要研究方向:图像处理、无线传感网络;
张福全(1977-), 男, 甘肃玉门人, 副教授, 博士, 主要研究方向:林业物联网

文章历史

收稿日期:2017-05-16
修回日期:2017-07-18
基于样条的林火图像多阈值分割算法
杨绪兵, 覃欣怡, 张福全    
南京林业大学 信息科学技术学院, 南京 210037
摘要: 基于光滑样条原理,提出一种自适应的多阈值分割算法HistSplineReg,即采用光滑样条回归图像一维直方图,再从回归函数寻找极值从而实现图像的多阈值自动分割。较之现有的阈值分割方法,HistSplineReg具有以下优势:1)设计方法符合人类直觉;2)基于光滑样条设计算法,有理论依据;3)阈值个数及阈值位置可自动选择;4)回归函数可分析求解,计算规模主要集中在矩阵的Cholesky分解,矩阵大小由图像像素水平级决定,而不是图像尺寸;5)只有一个待定参数,该参数用于平衡回归经验误差和回归函数的光滑性。对林火识别问题,实验提供一个经验参数供参考。最后,在红绿蓝颜色(RGB)模式的林火数字图像上进行实验,从灰度图像、多种颜色通道、各通道分割结果合成的彩色图像等方面进行验证,与同样采样回归思想的支持向量回归(SVR)及多项式回归(PolyFit)相比,HistSplineReg方法直观分割效果更好,且三种方法都反映出红色通道信息对林火图像分割效果的影响更为显著。
关键词: 图像分割    光滑样条函数    林火识别问题    阈值    
Forest fire image segmentation algorithm with adaptive threshold based on smooth spline function
YANG Xubing, TAN Xinyi, ZHANG Fuquan     
College of Information Science and Technology, Nanjing Forestry University, Nanjing Jiangsu 210037, China
Abstract: Based on smooth spline principle, a self-adaptive multi-threshold segmentation algorithm HistSplineReg (Spline Regression for Histogram) was proposed. HistSplineReg is a two-step method. Firstly, a smoothing spline function was regressed to fit the one-dimensional image histogram, and then the extreme value was found by the regression function to achieve multi-threshold automatic segmentation of the image. Compared to the existing multi-threshold methods, the advantages of HistSplineReg lie in 5 aspects:1) it is quite consistent with the human intuition; 2) it is constructed on the smoothing spline, which is a solid mathematic basis; 3) both the number and the size of multiple thresholds can be automatically determined; 4) HistSplineReg can be analytically solved, and its computing burden is mainly concentrated on Cholesky decomposition of the matrix, while the size of matrix depends on the pixel level of the image, rather than the scale of the image; 5) it has only one trade-off parameter to balance the empirical error and regressor's smoothness. Furthermore, for the forest fire recognition task, an experimental reference value was provided. Finally, experiments were conducted on some digital forest fire images in the RGB (Red, Green, Blue) mode. The experimental results show that the histSplineReg method is more effective than Support Vector Regression (SVR) and Polynomial Fitting (PolyFit), which is based on the grayscale image, the color channel, the color image synthesized by each channel segmentation. And the three methods all reflect the red channel information is most significant to the forest fire image segmentation effect.
Key words: image segmentation    smoothing spline function    forest fire recognition    threshold    
0 引言

森林火灾造成的损失巨大,为有效保护人们的生命财产安全和保护森林资源,世界各国不惜花费巨资,投入几十亿、上百亿美元,用于研制森林防火预警系统。近年来已有很多火灾监测系统,按研究历史上可分为两个阶段:一是以硬件设备为主导的,如基于传感器(如感温、感烟报警器等)检测烟或火情的预警方法[1-2],此类方法主要弊病在于:火源与传感器部署地之间总会存在距离,加之野外环境,极易造成误报、漏报、延时等问题[3]。二是以软件技术为主导,特别是计算机视觉技术的兴起,为防火系统注入了新的生机[4],基于数字图像或视频的可视化系统逐渐占据主导地位,该系统主要利用图像的颜色、纹理、几何特征、闪烁(flickering)、目标运动轨迹等[5]。纵观林火识别研究历史,单纯就静态图像而言(对应称视频为动态图像),据作者所知,目前所能查到的文献中,火焰识别的研究工作仍主要关注图像的颜色信息[6]。一个可能的原因是图像中目标“火”的特殊性,如火焰的形状、颜色、火势走向等都是不确定的,使得已有的、性能卓越的目标检测方法失效,或至少无法直接应用于林火识别任务。但对林火图像,也存在如下先验知识:如起火初期温度低,颜色主要表现为红色或黄色,随着温度升高,颜色逐渐变为淡黄或白色;白天的火焰饱和度(saturation)高于晚上等。因此,基于颜色的火焰识别较之其他方法更有优势。常用的颜色空间有RGB(Red, Green, Blue)、HSI(Hue Saturation Intensity)[7]、YCbCr[8]等。

图像分割的目的是将图像的划分成若干个区域,区域之间彼此不相交。该工作属图像预处理步骤,但分割质量会直接影响后续的识别效果。目前,常用的图像分割方法有:阈值分割、边缘检测、区域生长和基于其他理论的分割方法(如形态学方法)等[9]。本文仅关注图像阈值分割方法。阈值分割方法很多,如基于聚类的k均值、FCM(Fuzzy C-means)、层次聚类[10-11]等方法,仅利用灰度直方图求解阈值的方法就有Otsu、最大熵法[12]等。已有的研究成果告知:基于Otsu的分割方法对于目标和背景所占面积接近效果较好,否则易失效,同时也存在分割不够充分问题。最大熵法通过最大化目标熵和背景熵之和来决定阈值,图像的细节越丰富则分割效果越好,而且计算亦较为耗时[13]。这两种方法的原型是基于单个阈值提出的,单阈值方法(亦称双层分割(bilevel segmentation))虽易于求解,但难以适用复杂场景下图像分割。目前也有若干阈值的改良版本,限于篇幅在此不细述。但对多阈值分割问题,一个关键问题就是如何确定阈值个数,一个行之有效地办法就是通过曲线拟合直方图,再从拟合曲线获得阈值个数。如文献[14]采用支持向量回归(Support Vector Regression, SVR)拟合直方图,并通过边界支持向量(Boundary Support Vector, BSV)来确定阈值,该方法虽然回避了求解极值,阈值选择空间限制在边界支持向量集中,但却面临着需要核及核参数的选择问题;文献[15-16]采用高斯过滤器、混合高斯函数回归直方图,但也只是把阈值选择问题转化为多个高斯函数的混合问题,而且同样面临多个参数的选择问题;还有采用高阶多项式实现拟线性回归[17],存在拟合经验误差大、多项式阶数选择问题等,无法满足自动化的要求。

考虑林火图像颜色信息的重要性,如前文所述,本文采用光滑样条进行模型设计。本质上说,光滑样条采用的局部回归的方法,每个子区间内部通过多项式拟合,子区间端点处的光滑性由其左右高阶导数相等来保证,有望解决回归函数的经验误差大、回归曲线振荡等问题。本文提出一种基于光滑样条的回归方法——HistSplineReg拟合直方图,有以下几点优势:1) 方法简单,易于理解,符合直方图中寻找波谷(valley)的直觉;2) 基于光滑样条设计回归算法,回归函数的存在性、唯一性等有理论保证;3) 阈值个数及阈值位置由回归函数的极值确定,可实现自动化选择;4) 无需迭代,回归函数可分析求解,且计算规模主要集中在矩阵Cholesky分解,矩阵大小由图像的大小无关,仅取决于像素水平级;5) 只有一个待定参数,该参数用于折中回归误差和函数的光滑性,而且本文的实验部分对林火识别问题给出一个经验参数供读者参考。

1 背景知识

本章将简要介绍一下光滑样条产生机理和直方图的统计特性。

1.1 光滑样条

设观测集为{(xi, yi)}(i=1, 2, …),按式(1) 所示的优化目标求解回归函数g(·)。若g为光滑样条函数[18],需满足以下优化目标:

$\mathop {\min }\limits_g {\rm{ }}\eta \sum\limits_i {{w_i}{{[{y_i} - g({{\mathit{\boldsymbol{x}}}_i})]}^2}} + (1 - \eta )\int {{{[g''({\mathit{\boldsymbol{x}}})]}^2}{\rm d}\mathit{\boldsymbol{x}}} $ (1)

其中:wi为权参数,g″为回归函数g的二阶导数。光滑参数η∈[0, 1],当η→1时,模型关注于第一项的经验误差部分,使得回归曲线穿过尽可能多的观测点;当η→0时,模型关注第二项,显然g趋近于直线。为照顾下文即将描述的一维直方图拟合问题,本节简单介绍三次样条(Cubic Spline),所阐述的问题均在一维空间上。

在有界闭区间[a, b]上,存在该区间上的一个划分,即存在实数序列t1, t2, …, tn,使得a < t1 < t2 < … < tn < bg为三次样条,需满足两条件:

1) g为区间(a, t1),(t1, t2),…,(tn, b)上的三次多项式(此处的开区间也可用闭区间);

2) g及其一阶二阶导数g′、g″在每个ti处连续,i=1, 2, …, n

若在条件1)、2),再加上条件区间端点的二阶、三阶导数为0,即:

$g''(a)=g''(b)=g'''(a)=g'''(b)=0$ (2)

此时称g为自然三次样条函数(Natural Cubic Spline, NCS)。由式(2) 知g在小区间[a, t1]、[tn, b]上为线性函数。

本质上说,样条回归采用局部拟合思想,即先在每个小区间内部作光滑曲线回归,区间端点处加入如连续、可微等条件限制,使回归曲线整体上满足连续、光滑的要求。

1.2 直方图的统计特性

不妨以灰度图像为例,灰度级用[0, 1, …, L-1]表示,一般取L=256。记每一级的像素个数为ni(i=0, 1, …, L-1),像素总数记为N=$\sum\limits_{i}{{}}$ni,则一维灰度直方图可描述为灰度级的函数。视灰度级i为随机变量,其直方图可定义为概率分布p(i)=ni/N,有p(i)≥0和∑p(i)=1,即用频率近似概率。对于彩色图像,只需在各自颜色通道上按灰度图像同样处理。

接下来将要考虑采用光滑样条回归直方图问题。

2 本文方法

对于直方图而言,设待回归的样本集为{(i, p(i)}(i=0, 1, …, L-1)。它具有两个显著特点:1) 样本数固定(由像素水平级决定),与图像尺寸无关;2) 在[0, L-1]区间上划分小区间尽可能不破坏直方图的统计特性,可按水平级进行划分,小区间的长度可取固定值h,对直方图,不妨取h=1。如此不仅降低了计算量,还兼顾了直方图的实际意义。

2.1 直方图光滑样条回归函数性质

先给出光滑样条在直方图回归问题中的几个结论,以定理形式描述[19]

记回归函数为g(·),灰度级i处的估计值g(i)=gig″(i)=γi。记回归参数向量g=(g1, g2, …, gL-2)Tγ=(γ1, γ2, …, γL-2)T,由式(2) 知,γ0=γL-1=0。在小区间[i, i+1]上,由前假设知:

$\left\{ \begin{align} & g(i)={{g}_{i}} \\ & g(i+1)={{g}_{i+1}} \\ & g''(i)={{\gamma }_{i}} \\ & g''(i+1)={{\gamma }_{i+1}} \\ \end{align} \right.$ (3)

在直方图回归问题中,主要结论如下。

引理1  在小区间[i, i+1]上, 自然三次样条函数g(·)满足式(3),则有

$g''(t)=(t-i){{\gamma }_{i+1}}+(i+1-t){{\gamma }_{i}};t\in [i,i+1]$ (4)

成立。

证明  因三次样条的二阶导函数为线性函数,在[i, i+1]上,如图 1所示,(t, g″(t))为线性函数任一点,由式(3) 及三点共线关系可得:

图 1 自然三次样条函数二阶导函数构造示意图 Figure 1 Illustration for 2-order deviation function of natural cubic spline
$\frac{{{\gamma }_{i+1}}-g''(t)}{i+1-t}={{\gamma }_{i+1}}-{{\gamma }_{i}}$ (5)

对式(4) 化简整理可立得结论。

引理2  在小区间[i, i+1](i=1, 2, …, L-3) 的自然三次样条回归函数,具有如下表达式:

$\begin{align} & g(t)=(t-i){{g}_{i+1}}+(i+1-t){{g}_{i}}-\frac{1}{6}(t-i)(i+1- \\ & \quad \quad \quad t)[(1+t-i){{\gamma }_{i+1}}+(2+i-t){{\gamma }_{i}}],t\in [i,i+1] \\ \end{align}$ (6)

对式(4) 进行关于变量t两次积分,积分过程中产生两个任意常数,将式(3) 的条件代入即可消去。整理可得式(6) 结果,在i=1, 2, …, L-3时均成立,共产生L-3个未知数γi。证明略。

以上过程不包括两个端点小区间[0, 1]和[L-2, L-1]。区间[0, 1]和[L-2, L-1]上,按三次样条函数定义,端点处的二阶导数为0,同样是按线性函数处理。可得:

$\eqalign{ & g(t) = \cr & \left\{ \matrix{ {g_1} - (1 - t)g'(1),{\rm{ }}\quad {\rm{ }}\quad \quad \quad \quad \quad \quad {\rm{ }}t \in [0,1] \hfill \cr g(t) = {g_{L - 2}} - (t - L + 2)g'(L - 2),{\rm{ }}t \in [L - 2,L - 1] \hfill \cr} \right. \cr} $ (7)

至此,样条函数g(·)在区间[0, L-1]的表达式已全部给出,接下来就是如何求解参数向量gγ了。

由式(6)、(7),再加三次样条的条件2) 的一阶、二阶导数连续,可得如下定理:

定理1  设向量gγ可确定光滑样条g(·)当且仅当QTg=时成立,此时式(1) 的第二项满足下式:

$\int_0^{L - 1} {{{[g''(t)]}^2}{\rm{d}}t} = {{\mathit{\boldsymbol{\gamma }}}^{\rm{T}}}{\mathit{\boldsymbol{R\gamma }}} = {{\mathit{\boldsymbol{g}}}^{\rm{T}}}{\mathit{\boldsymbol{Kg}}}$

其中:QR为带状常数矩阵,

$\begin{array}{l} {\mathit{\boldsymbol{Q}}} = {\left[ {\begin{array}{*{20}{c}} 1&0& \cdots &0\\ { - 2}&1& \cdots &0\\ 1&{ - 2}& \cdots &0\\ 0&1& \cdots &0\\ \vdots & &   & \vdots \\ 0&0& \cdots &1 \end{array}} \right]_{(L - 2) \times (L - 4)}}\\ {\mathit{\boldsymbol{R}}} = {\left[ {\begin{array}{*{20}{c}} {2/3}&{1/6}& \cdots &0\\ {1/6}&{2/3}& \cdots &0\\ \vdots & \vdots &   & \vdots \\ 0&0& \cdots &{2/3} \end{array}} \right]_{(L - 4) \times (L - 4)}} \end{array}$

R对称、正定(严格对角占优矩阵),K=QR-1QT

证明  因每个i(1≤iL-3) 处,由式(6) 和一阶导数连续g′(i-)=(gi-gi-1)+$\frac{1}{6}$(γi-1+2γi),g′(i+)=(gi+1-gi)-$\frac{1}{6}$(2γi+γi+1),g′(i-), g′(i+)为水平级i处的左右导数,二者相等,有gi+1-2gi+gi-1=$\frac{1}{6}$γi+1+$\frac{2}{3}$γi+$\frac{1}{6}$γi-1,按矩阵形式整理可得QTg=。以下证明积分表达式部分。

$\begin{align} & \int_{0}^{L-1}{{{[g''(t)]}^{2}}\text{d}t}=\int_{0}^{L-1}{g''(t)\text{d}g'(t)}= \\ & \quad \quad \quad \quad \quad \quad \quad g'(t)g''(t)\left| _{0}^{L-1} \right.-\int_{0}^{L-1}{g'''(t)g'(t)\text{d}t} \\ \end{align}$

由式(2) 知,g″(L-1) =g″(0) =0,故∫0L-1[g″(t)]2dt=-∫0L-1g$'''$(t)g′(t)dt,注意到函数g(·)是三阶多项式,其三阶导数为常数

$\begin{align} & \int_{0}^{L-1}{{{[g''(t)]}^{2}}\text{d}t}=-\int_{0}^{L-1}{g'''(t)g'(t)\text{d}t}\approx \\ & \quad \quad \quad \quad \quad \quad \quad -\sum\limits_{i=1}^{L-2}{g'''({{i}^{+}})}\int_{i}^{i+1}{g'(t)\text{d}t} \\ \end{align}$

$\begin{array}{l} - \sum\limits_{i = 1}^{L - 2} {g'''({i^ + })} \int_i^{i + 1} {g'(t){\rm{d}}t} = \sum\limits_{i = 1}^{L - 3} {({\gamma _{i + 1}} - {\gamma _i}} )({g_i} - {g_{i + 1}}) = \\ \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad {{\mathit{\boldsymbol{\gamma }}}^{\rm{T}}}{{\mathit{\boldsymbol{Q}}}^{\rm{T}}}{\mathit{\boldsymbol{g}}}{{\mathit{\boldsymbol{\gamma }}}^{\rm{T}}}{\mathit{\boldsymbol{R\gamma }}} \end{array}$

所以$\int_0^{L -1} {{{[g''(t)]}^2}{\rm{d}}t} = {{\mathit{\boldsymbol{g}}}^{\rm{T}}}{\mathit{\boldsymbol{Q}}}{{\mathit{\boldsymbol{R}}}^{ -1}}{{\mathit{\boldsymbol{Q}}}^{\rm{T}}}{\mathit{\boldsymbol{g}}} = {{\mathit{\boldsymbol{g}}}^{\rm{T}}}{\mathit{\boldsymbol{Kg}}}$。证毕。

令模型式(1) 的权值为1,有:

$\mathop {\min }\limits_g\,\text{ }\sum\limits_{i}{{{[{{y}_{i}}-g({{x}_{i}})]}^{2}}}+\alpha \int{{{[g''(x)]}^{2}}\text{d}x}$ (8)

在式(8) 目标下考虑光滑样条问题,惩罚因子α=1/η-1(>0)。问题求解用定理2描述。

定理2  式(8) 的解存在且唯一,解为:

${\mathit{\boldsymbol{g}}} = {({\mathit{\boldsymbol{I}}} + \alpha {\mathit{\boldsymbol{K}}})^{ - 1}}{\mathit{\boldsymbol{Y}}}$ (9)

其中Y=[y1, y2, …,yL-2]TgK定义同前,I是单位矩阵。

证明  用矩阵形式重写目标函数,并记为S(g),由定理1知:

$\begin{array}{c} {\rm{S(}}{\mathit{\boldsymbol{g}}}{\rm{) = (}}{\mathit{\boldsymbol{Y}}} - {\mathit{\boldsymbol{g}}}{)^{\rm{T}}}({\mathit{\boldsymbol{Y}}} - {\mathit{\boldsymbol{g}}}) + \alpha {{\mathit{\boldsymbol{g}}}^{\rm{T}}}{\mathit{\boldsymbol{Kg}}}{\rm{ = }}\\ \ \ \ \ \ {{\mathit{\boldsymbol{g}}}^{\rm{T}}}({\mathit{\boldsymbol{I}}} + \alpha {\mathit{\boldsymbol{K}}}){\mathit{\boldsymbol{g}}} - 2{{\mathit{\boldsymbol{Y}}}^{\rm{T}}}{\mathit{\boldsymbol{g}}} + {{\mathit{\boldsymbol{Y}}}^{\rm{T}}}{\mathit{\boldsymbol{Y}}} \end{array}$ (10)

对直方图而言, 有yi=p(i-1) (i=1, 2, …, L-2) 成立。关于g求导,得:

$({\mathit{\boldsymbol{I}}} + \alpha {\mathit{\boldsymbol{K}}}){\mathit{\boldsymbol{g}}}{\rm{ = }}{\mathit{\boldsymbol{Y}}}$ (11)

矩阵I+αK是方阵且正定,展开式(11),可得g=(I+αK)-1Y。    证毕。

以上结论均在h=1的条件下完成。为兼顾直方图的几何意义,建议h的取值能够正好等分区间[0, L-1]。

至此,直方图样条回归函数求解完毕,以算法形式总结如下。

2.2 直方图样条回归函数求解算法HistSplineReg

2.1节介绍了光滑样条回归一维直方图过程,并在自然三次样条函数基础上,提出了可用于回归直方图的光滑样条函数求解方法HistSplineReg。为回避矩阵求逆,实际应用中可采用Cholesky分解来进一步减小计算量[20],简述如下。

将定理1中的QTg=代入式(11) 并整理,有:

${\mathit{\boldsymbol{g}}} = {\mathit{\boldsymbol{Y}}} - \alpha {\mathit{\boldsymbol{Kg}}} = {\mathit{\boldsymbol{Y}}} - \alpha {\mathit{\boldsymbol{Q}}}{{\mathit{\boldsymbol{R}}}^{ - 1}}{{\mathit{\boldsymbol{Q}}}^{\rm{T}}}{\mathit{\boldsymbol{g}}} = {\mathit{\boldsymbol{Y}}} - \alpha {\mathit{\boldsymbol{Q\gamma }}}$

QT左乘g=Y-α,可得:

${{\mathit{\boldsymbol{Q}}}^{\rm{T}}}{\mathit{\boldsymbol{Y}}} = ({\mathit{\boldsymbol{R}}} + \alpha {{\mathit{\boldsymbol{Q}}}^{\rm{T}}}{\mathit{\boldsymbol{Q}}}){\mathit{\boldsymbol{\gamma }}}$ (12)

显然矩阵R+αQTQ对称且严格正定,可对其进行Cholesky分解,有R+αQTQ=LDLT,其中D是严格正定对角阵,L是下三角阵。式(12) 可变形为:

${{\mathit{\boldsymbol{Q}}}^{\rm{T}}}{\mathit{\boldsymbol{Y}}} = ({\mathit{\boldsymbol{LD}}}{{\mathit{\boldsymbol{L}}}^{\rm{T}}}){\mathit{\boldsymbol{\gamma }}}$ (13)

以上求解过程归纳为HistSplineReg算法描述如下。

算法1   HistSplineReg算法。

输入  样本集{(i, p(i))}(i=0, 1, …, L-1);常量矩阵Q, R(定理1),正则化参数αη

输出  回归估计值g

步骤1  计算Yyi=p(i-1), i=1, …, L-2;

步骤2  计算QTY

步骤3  计算R+αQTQ的Cholesky分解因子LD

步骤4  求解方程QTY=(LDLT)γ,获得γ

步骤5  计算g=Y-α

如需绘制回归曲线,可将HistSplineReg计算得到的gγ,代入式(6) ~(7) 中,即可获得区间[0, L-1]上回归函数g(t)。根据直方图回归算法,就可以实现多阈值的图像分割。

2.3 基于HistSplineReg算法的图像多阈值分割算法

因HistSplineReg算法返回的只是像素水平级的估计值,而不是回归曲线,如果根据式(6) ~(7) 来求解极值,会导致分割速度慢。本节中求解阈值可通过估算gi的一阶导数,即若(gi-gi-1)/h < 0且(gi+1-gi)/h>0,则该水平级i为阈值,如算法2。

算法2  基于HistSplineReg的多阈值分割算法。

输入  待分割图像Im;

输出  分割后的图像F

步骤1  获得图像直方图,并以{(i, p(i))}(i=0, 1, …, L-1) 形式存储;

步骤2  执行HistSplineReg算法,获得回归估计向量g

步骤3  按水平级顺序检查g中分量gi的一阶导数,若导数符号从负变正,则该水平级为对应回归曲线的极小值点,其个数即为阈值个数;

步骤4  根据获得的多个阈值进行图像分割。

3 实验验证

本章中,将通过实验来验证上述结论。实验将分为两个部分:第一部分是直方图拟合实验;第二部分林火图像上的分割实验。由于该类问题缺乏标准数据库,本文所用图像采集自互联网。实验对比对象采用SVR[14]和多项式回归方法(PolyFit)[21]。SVR选择高斯核k(a, b)=exp((‖a-b2)/σ2),正则化参数C和核参数σ选择范围为{10i|i=-4, -3, …, 4}和{5×10i|i=-4, -3, …, 4};HistSplineReg只有一个正则化参数η,参数选择范围为(0, 1);多项式回归需先指定多项式的最高阶数。以下实验环境是Window 7 SP1 64位操作系统,Inter Core i7-3632QM CPU, 2.2 GHz, 8 GB内存, Matlab R2015b。SVR使用软件包LIBSVM[22](序列最小化(Sequential Minimal Optimization, SMO)算法)。多项式回归采用Matlab的Curve Fitting工具PolyFit函数。

3.1 直方图拟合实验

为方便可视化,避免直方图p(i)(∈[0, 1])与水平级i(i∈[0, 255], i取整数)之间的数值差距过大造成计算误差,影响可视化效果,本节实验中先进行归一化处理。如图 2所示。

图 2 直方图及其拟合效果图 Figure 2 Image histogram and its curve fitting results

图 2(b)中展示的SVR不敏感因子ε=0.005,高斯核参σ=50,平衡因子C=100。训练所得支持向量为167个,其中边界支持向量BSV是142个。光滑样条参数η=0.9998。多项式回归最高阶为18。SVR、HistSplineReg和PolyFit的执行时间分别为2.96 s,0.75 s和0.18 s(CPU时间,其中参数选择时间未计算在内)。图 2可见,HistSplineReg方法的回归效果更好。

3.2 林火图像分割实验

如何评价图像阈值分割算法性能,目前国际上也一直没有统一标准,现有文献多是采用主观视觉效果和算法的执行效率作评估[12]。本文实验对象是RGB林火图像,为探究颜色信息对图像分割效果的影响,分别从灰度图像、RGB三通道亮度图像及各通道分割完毕再次合成的彩色图像来展示实验效果。

图 4~5分别是SVR和多项式回归的图像分割效果表,这两种方法对灰度图像效果极差,图像中除显示几个亮点外,看不到任何分割效果;SVR在绿色、蓝色通道上分割区域较为清楚,但红色通道效果不佳,因而造成了合成分割图像中出现了诡异的黄红色火焰,这是因为SVR在调参过程中,因参数空间的步长较大,未能选到更合适的参数,还有诸如核函数的选择问题等。多项式拟合中,尤其是在直方图尾部容易产生振荡,阶数越高,振荡现象越严重。两者对于林火的灰度图像,可能因为在火焰的照明下,亮度值不同于其他类型图像,如果阈值选择不当,如所选阈值比较接近,分割区域之间像素值差别不大,就会造成视觉感官上的全黑假象。

图 3 林火图像HistSplineReg分割效果图 Figure 3 Illustration for forest fire image segmentation results by HistSplineReg
图 4 林火图像SVR分割效果图 Figure 4 Illustration for forest fire image segmentation results by SVR
图 5 林火图像多项式分割效果图 Figure 5 Illustration for forest fire image segmentation results by Polynomial fitting
4 结语

本文提出一种基于光滑样条的直方图回归方法HistSplineReg,并在此基础上提出一种多阈值图像分割方法,在林火图像上进行了实验。分析和实验表明,HistSplineReg具有可分析求解回归函数、拟合速度快、阈值个数及阈值位置选择准确等特点。实验过程中发现林火类图像的红色信息更值得关注,但其他颜色通道也能提供更多的信息参考,此外,在参数选择方面,HistSplineReg在实验中建议更多的关注点应该放在经验误差项,而不是光滑性。

林火识别问题的研究目前仍处于起步阶段,绝大多数的研究工作仍集中在颜色信息部分。加之国际上目前还没有标准的林火类图像标准库,算法性能测试只能在研究者自己拥有的少数图像上进行实验,性能比较缺乏公平性。据人类对火的认知,除颜色以外,还会有温度、灼热感、甚至燃烧的声音等,是一种综合的体验,而绝不只是依赖颜色来判断。其他研究领域中有关目标识别方法,能否对林火识别问题提供借鉴,还有图像中的“烟”如何识别等问题,均是下一步的工作。

参考文献(References)
[1] GOLLNER M J. Detection and suppression of fires:a cornerstone of fire protection engineering[J]. Fire Technology, 2016, 52(5): 1193-1196. DOI:10.1007/s10694-016-0606-2
[2] KO B C, CHEONG K H, NAM J Y. Fire detection based on vision sensor and support vector machines[J]. Fire Safety Journal, 2009, 44(3): 322-329. DOI:10.1016/j.firesaf.2008.07.006
[3] SHEN P, ZHANG L, SONG J, e t. al. DM642-based fire detection in video sequences using statistical color model[J]. International Journal of Digital Content Technology and Its Applications, 2013(7): 669-678.
[4] FLEURY A D T, TRIGO F C, MARTINS F P R. A new approach based on computer vision and non-linear Kalman filtering to monitor the nebulization quality of oil flames[J]. Expert Systems with Applications, 2013, 40(12): 4760-4769. DOI:10.1016/j.eswa.2013.02.008
[5] YU C, MEI Z, ZHANG X. A real-time video fire flame and smoke detection algorithm[J]. Procedia Engineering, 2013, 62: 891-898. DOI:10.1016/j.proeng.2013.08.140
[6] SHAO J, WANG G, GUO W, et.al. An image-based fire detection method using color analysis[C]//Proceedings of the 2012 International Conference on computer science and information processing. Piscataway, NJ:IEEE, 2012:1008-1011.
[7] HORNG W, PENG J, CHEN C. A new image-based real time flame detection method using color analysis[C]//Proceedings of the 2005 IEEE International Conference on Networking, Sensing and Control. Piscataway, NJ:IEEE, 2005:100-105.
[8] CELIK T, DEMIREL H. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal, 2009, 44(2): 147-158. DOI:10.1016/j.firesaf.2008.05.005
[9] 苏毅. 基于图像处理的火焰识别与特征参数提取算法研究[D]. 淮南: 安徽理工大学, 2013. (SU Y. Research on the flame recognition and feature parameter extraction based on image processing[D]. Huainan:Anhui University of Science and Technology, 2013.) http://cdmd.cnki.com.cn/Article/CDMD-10361-1014153068.htm
[10] ZHAO Y, TANG G, XU M. Hierarchical detection of wildfire flame video from pixel level to semantic level[J]. Expert Systems with Applications, 2015, 42(8): 4097-4104. DOI:10.1016/j.eswa.2015.01.018
[11] ARIFIN A Z, ASANO A. Image segmentation by histogram thresholding using hierarchical cluster analysis[J]. Pattern Recognition Letters, 2006, 27(13): 1515-1521. DOI:10.1016/j.patrec.2006.02.022
[12] 吴一全, 孟天亮, 吴诗婳. 图像阈值分割方法研究进展20年(1994-2014)[J]. 数据采集与处理, 2015, 30(1): 1-23. (WU Y Q, MENG T L, WU S H. Research progress of image thresholding methods in recent 20 years (1994-2014)[J]. Journal of Data Acquisition and Processing, 2015, 30(1): 1-23.)
[13] ZHANG C, XIE Y, LIU D, e t. al. Fast threshold image segmentation based on 2D fuzzy Fisher and random local optimized QPSO[J]. IEEE Transactions on Image Processing, 2017, 26(3): 1355-1362. DOI:10.1109/TIP.2016.2621670
[14] CHEN S, WANG M. Seeking mutli-thresholds directly from support vectors for image segmentation[J]. Neurocomputing, 2005, 67(1): 335-344.
[15] CHANG J, FAN K, CHANG Y. Multi-modal gray-level histogram modeling and decomposition[J]. Image and Vision Computing, 2002, 20(3): 203-216. DOI:10.1016/S0262-8856(01)00095-6
[16] BO C, LIU Z, WANG J. A new model of image segmentation with multi-threshold[J]. Journal of Chemical and Pharmaceutical Research, 2014, 6(7): 836-853.
[17] DIANAT R, KASAEI S. On automatic threshold selection in regression method for change detection in remote sensing images[EB/OL].[2016-11-20]. http://ce.sharif.edu/~ipl/Papers/Ist_08_RD.pdf.
[18] GREEN P, SILVERMAN B. Nonparametric Regression and Generalized Linear Models[M]. London: Chapman & Hall, 1994: 85-92.
[19] 韩圣同. 三次光滑样本的一些应用[D]. 上海: 华东师范大学, 2009. (HAN S T. Some applications of cubic smoothing spline[D]. Shanghai:East China Normal University, 2009.)
[20] REINSCH C. Smoothing by spline functions[J]. Numerische Machematik, 1967, 10(3): 177-183. DOI:10.1007/BF02162161
[21] YUAN J, WANG D, LI R. Image segmentation using local spectral histograms and linear regression[J]. Pattern Recognition Letters, 2012, 33(5): 615-622. DOI:10.1016/j.patrec.2011.12.003
[22] CHANG C C, LIN C J. LIBSVM:a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 1-27.