2. 中北大学 电子测试技术国防科技重点实验室, 太原 030051;
3. 河北工业职业技术学院 汽车工程系, 石家庄 050091
2. National Defense Key Laboratory for Electronic Test Technology, North University of China, Taiyuan Shanxi 030051, China;
3. Automobile Engineering Department, Hebei College of Industry and Technology, Shijiazhuang Hebei 050091, China
各种各样的自然灾害及人为灾害对人类的生命健康和财产安全造成了严重威胁,而其中火灾是最严重的灾害之一,火灾的快速识别和早期预警可以很大程度上减少对人民生命健康及财产安全的损害[1]。目前市面销售火灾传感器类型各异,如烟雾传感器、温度传感器、光敏传感器、红外线探测器等,然而这些被动式传感器对于户内外开阔的场合则无能为力。由于燃烧火焰产生光的传播比烟雾或热要快得多,因此基于计算机视觉的火灾探测和预警对于火灾早期的检测[2]非常有效。
基于计算机视觉的火灾识别算法已经成为了模式识别的一个重要研究方向。其主要方法包括贝叶斯分类器[3]、人工神经网络[4]和马尔可夫模型[5]。Truong等[6]提出了一种应用于开阔空间的支持向量机多特征火灾识别方法,该方法具有更低的误识率和更高的可靠性,然而其学习速率较慢。Wang等[7]采用Wald-Wolfwitz随机测试算法识别火焰及非火焰,这种自适应算法主要利用火焰的随机波动来识别火灾,识别精度较低。Çelik等[8]提出了一种基于颜色模型(YCbCr模型)的分类方法,利用火灾和非火灾的图像来构造火焰像素的色度分类模型,但无法成功将移动物体与背景分离。Habiboglu等[9]提出了一种基于协方差结构的表示方法,该方法结合火焰区域的颜色域、空间域和时间域信息作为特征向量,然而该方法只能检测近距离清晰火焰,对于能见度低的火焰无能为力。Bosch等[10]提出一种基于红外视频的空间域和时间域特征的火灾识别方法,通过探测信号强度和热物体(热源)的方向将火焰和非火焰进行区分,该方法存在成本高、响应时间长等不足。Dimitropoulos等[11]结合了颜色概率、空间、能量、闪烁和时空的能量等多种特性量,测试了各种背景减法算法的优越性。Horng等[12]提出了一种基于色调、饱和度、亮度(Hue,Saturation,Intensity,HSI)颜色模型分析的火灾识别方法,该方法响应时间短,然而由于颜色特性只是火焰的静态特征之一,其识别率较低。吴冬梅等[13]提出了一种基于Ohta颜色空间的火焰检测的方法,其准确率和环境适应性有所提高。张霞等[14]提出了一种基于局部二值模式(Local Binary Pattern, LBP)直方图和支持向量机(Support Vector Machine, SVM)的视频火焰检测方法,其误报率低、鲁棒性强。
对于嵌入式实时视频火灾识别与预警来说,不仅需要提高系统的火焰识别率和降低误识率,其响应时间也是非常重要的参数。人工神经网络、支持向量机等算法具有识别率高的优点,然而其计算的复杂度针对于嵌入式的视频流来说是很高的,不能满足实时性的要求,因此本文提出一种基于多特征量和对数回归的火灾识别方法。多特征量的对数回归在有效减少误识率的同时只是略微减少灵敏度。采用实验基准库和实验室火焰视频训练和测试表明,本文所提识别算法识别率高、误识率低。
1 多特征量对数回归的火灾识别算法本文首先利用视频流中的图像颜色特征和运动信息进行图像的预处理,获取到候选火焰区域,再提取出候选火灾区域的颜色特性、面积变化率、圆形度、尖角个数以及质心位移等8种火焰特征量,最后建立了火焰识别的对数回归模型。
1.1 颜色特性火焰颜色是火焰最显著的特征,自然火灾的颜色范围大都由黄到红。由于火焰的颜色往往是高饱和度的红色,在RGB模型下每个火焰像素的R分量都大于G和B分量。然而RGB的颜色分量对光照变化敏感,因此本文将RGB模型转化为YCbCr模型,在YCbCr颜色空间中,其中:Y为颜色的亮度,Cb和Cr为色度。
火焰疑似物主要是移动的红色物体,如红色衣服的行人、汽车的红色尾灯、红色气球等。火焰和疑似火焰物体可能有相似的颜色与形状,但它们的色度比例会有所差别。反复实验表明,色度满足式(1), 可有效地将真火焰及疑似火焰物体从视频流中的待处理图片中提取出来, 并对图像进行灰度化和二值化处理[15]:
$ \left| {Cb(x, y)-Cr(x, y)} \right| > 40 $ | (1) |
通常情况下,疑似火焰的物体都以一种固定方式移动。背景差分法是一种被广泛应用的检测运动物体的方法,本文用它来进行火灾中疑似火焰的预处理。将阈值分割后的图片减去背景图片可有效将固定的红色物体剔除。此外,一些较小的独立区域的面积若没有超过某一阈值,将认为是噪声而去除。反复实验表明,选择9个像素作为阈值较为适宜。如图 1(c)为背景差分后的图像,从图 1中可以看出经过差分和阈值噪声去除后的图像中,很清晰地表征了火焰候选区域,为下一步的特征提取提供了合理的图像。
1.2 面积变化率火灾初期的火焰面积通常表现为无规律的变大趋势,而疑似火焰物体则正好相反,因此面积变化特征也是火焰识别的重要判据之一。面积特征可以表示为经过预处理得到的候选火灾区域中像素值为1的点的个数总和。
第i帧的面积变化率Ci可以表示为:
$ {C_i} = \left( {{S_i}-{S_{i-1}}} \right)/{S_{i-1}} $ | (2) |
其中:Si为第i帧面积;Si-1为第i-1帧面积。
1.3 圆形度圆形度是衡量图形与圆的相似程度,疑似火焰物体的形状与圆相似,其圆形度较高,而真火焰则杂乱无章,其圆形度较低,因此圆形度可以作为区分火灾火焰与其他疑似火灾物体的特性。将预处理得到的火灾候选区域进行闭合操作,获取闭合图形的面积,同时利用边缘检测算法获取其周长。得到图形的圆形度e可以表示为:
$ e = 4{\rm{\pi }}S/{L^2} $ | (3) |
其中:L为边界的周长,S为图形的面积。
1.4 尖角个数火灾火焰在燃烧时会存在边缘抖动的现象,即会产生很多小尖角,而疑似火焰的尖角数明显没有火焰的尖角数多,而且这些物体在移动时,其尖角数保持不变,所以尖角特性也可以作为火焰识别的一个特征量。
在经过预处理后的候选火灾区域,以候选点(i,j)为中点建立一个3×3的窗口,若候选点的8个邻域的相似度小于阈值,则此候选点为尖角,并对此候选点进行标记。通过对图像上的每一个点进行判断,最终得到整幅图像的尖角个数。
1.5 质心位移质心是物体质量集中的点,火焰在燃烧时,其质心左右上下来回随机摆动。而疑似火焰物体的质心运动具有一定的规律性或保持静止,因此质心位移特性也可以作为火焰识别的一个重要特性。计算差分预处理后的候选火灾区域中所有像素值为1的点的横坐标及纵坐标和,然后求均值从而得到当前图像的质心坐标。火焰的质心位移可表示为:
$ D = \sqrt {{{({y_{\rm{i}}}-{y_{i-1}})}^2} + {{({x_i}-{x_{i - 1}})}^2}} $ | (4) |
其中:xi、yi分别是第i帧质心的横纵坐标;xi-1、yi-1分别为第i-1帧图像的质心横纵坐标。
1.6 对数回归火焰识别算法为了检验疑似火灾区域是否存在真火焰或只是疑似火焰物体,本文将从疑似火焰区域提取YCbCr颜色空间的Cb与Cr分量的平均值(mb, mr)以及标准差(Sb, Sr)、面积变化率、圆形度、尖角个数、质心位移等8个特征量。这些特征量与所检测视频是否为火灾火焰有一定的关系。第i帧图像的特征量可以由上述8个特征量的线性关系表示:
$ \mathit{\boldsymbol{x}} = {({x_1}, {x_2}, {x_3}, {x_4}, {x_5}, {x_6}, {x_7}, {x_8})^{\rm{T}}} $ | (5) |
如果识别算法输出为二值化,令真火焰为1,假火焰为0,且服从一定的概率分布,其概率密度函数服从伯努利分布,即:
$ f\left( {{y_i}} \right) = {p_i}^{{y_i}}{\left( {1-{p_i}} \right)^{1-{y_i}}} $ | (6) |
那么,对于视频的第i帧,输出为yi=1即真火焰,其概率为pi;输出为yi=0即非火灾,其概率为1-pi。
为了求解输入与输出的关系,假定第i帧的ln p(xi)为各特征量x1i,x2i,…,x8i为线性组合,即:
$ {\rm{ln }}\;p({\mathit{\boldsymbol{x}}_i}) = {a_1}{x_{1i}} + {a_2}{x_{2i}} + {a_3}{x_{3i}} + \cdot \cdot \cdot + {a_8}{x_{8i}} = \mathit{\boldsymbol{x}}_{_i}^{^{\rm{T}}}\mathit{\boldsymbol{\alpha }} $ | (7) |
其中系数向量为:
$ \mathit{\boldsymbol{\alpha }} = {({a_1}, {a_2}, {a_3}, \cdot \cdot \cdot, {a_8})^{\rm{T}}} $ | (8) |
因此,第i帧的火焰概率可以表示为:
$ {p_i} = 1/(1 + {{\rm{e}}^{-\mathit{\boldsymbol{x}}_{_i}^{\rm{T}}\mathit{\boldsymbol{\alpha }}}}) $ | (9) |
可以采用最大似然估计法来确定未知参数α。
$ {\hat \alpha _{{\rm{MLE}}}} = \mathop {\arg }\limits_{_\alpha } \min {\prod\limits_{i = 1}^n {{{\left( {\frac{1}{{1 + {{\rm{e}}^{-\mathit{\boldsymbol{x}}_{_i}^{\rm{T}}\mathit{\boldsymbol{\alpha }}}}}}} \right)}^{{y_i}}}\left( {1{\rm{-}}\frac{1}{{1 + {{\rm{e}}^{-\mathit{\boldsymbol{x}}_{_i}^{\rm{T}}\mathit{\boldsymbol{\alpha }}}}}}} \right)} ^{1 - {y_i}}} $ | (10) |
为了避免对数回归可能出现过拟合的问题,训练所用的特征量是随机选取的。在训练过程中,真火焰和非火焰样本数量相等以保证结果平衡。利用最大似然估计法得到系数向量,并代入待识别图像提取的特征量中,根据式(9) 计算得到识别的结果的概率,最后根据疑似火灾区域CFR判断准则式(11) 输出识别结果:
$ CF{R_i} = \left\{ \begin{array}{l} {\rm{fire, }}\;\;\;\;\;\;\;\;\;\;\;\;{p_i} \ge 0.5\\ {\rm{non-fire, }}\;\;\;{p_i} < 0.5 \end{array} \right. $ | (11) |
选取4种物体各60帧图片进行实验,获取它们的特征量,图 2(a)、(b)、(c)、(d)分别为面积变化率、圆形度、尖角个数和质心坐标位移实验结果。从图 2中可以看出,森林火灾与其他疑似火灾物体有很好的区分度,只有质心坐标位移区分度不明显,但可以利用质心坐标位移有效剔除位移微小的疑似火灾物体,因此这4个特征量都可以作为本火焰快速识别算法的特征量。
为了训练和检验论文提出的火焰识别算法,本文选择了美国国家标准与技术研究院(National Institute of Standards and Technology, NIST)、仁荷大学计算机视觉实验室(Computer Vision laboratory of Inha University, ICV)和基于计算机视觉的火灾探测(Fire detection based on computer Vision, VisiFire)三个实验室录制的火焰和火焰疑似物的视频,如图 3(a)~(f)所示,并且也在实验室录制了蜡烛和纸燃烧视频片段如图 3(g)~(h)所示。在训练阶段,本文随机选择了300幅火焰和非火焰图像进行参数学习,然后选取实验数据库中8段视频共11071幅图像进行识别算法检验。
分类精度可以通过真正率(True Positive Rate,TPR)和真负率(True Negative Rate,TNR)来评价:
$ TPR({\rm{sensitivity}}) = TP/\left( {TP + FN} \right) $ | (12) |
$ TNR({\rm{specificity}}) = TN/\left( {FP + TN} \right) $ | (13) |
其中:TP(True Positive)为被算法预测为正的正样本数;TN(True Negative)为被算法预测为负的负样本数;FP(False Positive)为被算法预测为正的负样本数;FN(False Negative)为被算法预测为负的正样本数。
截取8个视频片段共11071幅图像进行实验,表 1详细列出了8个视频片段实验结果的详细信息,包括文件名、火灾帧数、非火灾帧数,累计用时以及平均用时。从表 1中可以看出,本文算法的真正率在93.1%以上,真负率在98.7%以上。对于识别时间,由于SVM需把输入样本经过非线性变换映射到高维核空间,在高维核空间中寻找最优分类超平面。而人工神经网络则需由大量处理单元互联来组成非线性、自适应信息处理系统。这两种方法都需要进行大量矩阵计算,识别时间较长。由于本文采用对数回归分析对特征量进行学习和识别,在Windows 8系统(计算机处理器为i5,内存为8 GB)下,利用Matlab 2015软件进行实验,样本训练平均用时20.90 s,识别平均用时0.058 s/帧,可达到实时处理的要求。
为了评估本文的火焰识别算法的可靠性,将现有的其他比较典型的6种方法与本文算法进行比较。这些算法包括Çelik等[8]提出的通用颜色模型、Ko等[3]的支持向量机的算法、Borges等[16]的概率算法、Truong等[6]的多级模式识别、吴冬梅等[13]的基于Ohta颜色空间的火焰检测的方法以及张霞等[14]的基于LBP直方图和SVM的视频火焰检测方法(吴冬梅等[13]只有VC3和VC4的数据,张霞等[14]只有VC1、VC3和VC4的数据)如表 2所示,对于VC1(室内火灾)和VC2(森林火灾),由于火焰的颜色特征明显,所以各个算法都有较高的真正率,都在94%以上;对于VC3(室外炉火)和VC4(室外炉火),由于在户外场景,且颜色特征不明显,所以真正率有所降低,但也都在93%以上;对于VC5(汽车尾灯)和VC6(红衣服行人),由于是非火灾物体,各个算法的真负率都很高,都达到96%以上,由于本文的算法利用多特征量剔除了火焰疑似物体,真负率达到98%,优于其他方法。
利用监控视频,在火灾早期对其进行识别和警报,进而采取相应的灭火措施可以在一定程度上减少火灾带来的损失。针对识别率低和误识率高的问题,本文提出一种基于多特征量的对数回归火焰快速识别算法。利用多特征量可以快速地剔除非火焰的疑似图像,在对数回归识别模型的帮助下,实现了实时图像的快速识别。大量实验结果表明,无论是在室内还是室外,本文算法的真正率(TPR)达到93%,真负率(TNR)达到98%,识别平均用时0.058 s/帧,效果较好,可以应用于下一步的嵌入式实时图像火焰识别中。
[1] | 黄正宇, 缪小平, 芮挺. 基于图像的火焰检测中无量纲动态特征研究[J]. 计算机应用, 2012, 32(7): 1894-1898. (HUANG Z Y, MIAO X P, REI T. Study on dimensionless dynamic characteristics of flame based on image recognition[J]. Journal of Computer Applications, 2012, 32(7): 1894-1898.) |
[2] | 毛文涛, 王文朋, 蒋梦雪, 等. 基于局部特征过滤的快速火焰图像识别方法[J]. 计算机应用, 2016, 36(10): 2907-2911. (MAO W T, WANG W P, JIANG M X, et al. Fast flame recognition approach based on local feature filtering[J]. Journal of Computer Applications, 2016, 36(10): 2907-2911. DOI:10.11772/j.issn.1001-9081.2016.10.2907) |
[3] | KO B C, CHEONG K H, NAM J Y. Early fire detection algorithm based on irregular patterns of flames and hierarchical Bayesian networks[J]. Fire Safety Journal, 2010, 45(4): 262-270. DOI:10.1016/j.firesaf.2010.04.001 |
[4] | WANG Y, YU C, TU R, et al. Fire detection model in Tibet based on grey-fuzzy neural network algorithm[J]. Expert Systems with Applications, 2011, 38(8): 9580-9586. DOI:10.1016/j.eswa.2011.01.163 |
[5] | WANG L, YE M, DING J, et al. Hybrid fire detection using hidden Markov model and luminance map[J]. Computers & Electrical Engineering, 2011, 37(6): 905-915. |
[6] | TRUONG T X, KIM J M. Fire flame detection in video sequences using multi-stage pattern recognition techniques[J]. Engineering Applications of Artificial Intelligence, 2012, 25(7): 1365-1372. DOI:10.1016/j.engappai.2012.05.007 |
[7] | WANG D C, CUI X, PARK E, et al. Adaptive flame detection using randomness testing and robust features[J]. Fire Safety Journal, 2013, 55: 116-125. DOI:10.1016/j.firesaf.2012.10.011 |
[8] | ÇELIKT, DEMIRELH. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal, 2009, 44(2): 147-158. |
[9] | HABIBOGLU Y H, GUNAY O, ÇETIN A E. Covariance matrix-based fire and flame detection method in video[J]. Machine Vision and Applications, 2012, 23(6): 1103-1113. DOI:10.1007/s00138-011-0369-1 |
[10] | BOSCH I, GOMEZ S, MOLINA R, et al. Object discrimination by infrared image processing[C]//Proceedings of the 2009 International Work-Conference on the Interplay between Natural and Artificial Computation. Berlin:Springer, 2009:30-40. |
[11] | DIMITROPOULOS K, TSALAKANIDOU F, GRAMMALIDIS N. Flame detection for video-based early fire warning systems and 3D visualization of fire propagation[C]//CGIM 2012:Proceedings of the 13th IASTED International Conference on Computer Graphics and Imaging. Calgary, CA:ACTA Press. 2012:3-13. |
[12] | HORNG W B, PENG J W. A fast image-based fire flame detection method using color analysis[J]. Tamkang Journal of Science and Engineering, 2008, 11(3): 273-285. |
[13] | 吴冬梅, 杨娟利, 王静. 基于Ohta颜色空间的火焰检测[J]. 电视技术, 2016, 40(6): 140-143. (WU D M, YANG J L, WANG J. Flame recognition based on Ohta color space[J]. Video Engineering, 2016, 40(6): 140-143.) |
[14] | 张霞, 黄继风. 结合LBP直方图和SVM的视频火焰检测[J]. 计算机应用与软件, 2016, 33(8): 216-220. (ZHANG X, HUANG J F. Detecting flame in video in combination with LBP HISTOGRAM and SVM[J]. Computer Applications and Software, 2016, 33(8): 216-220.) |
[15] | 刘尚旺, 段德全, 崔艳萌, 等. 二次定位车牌分割及识别方法[J]. 河南师范大学学报(自然科学版), 2016, 44(4): 151-156. (LIU S W, DUAN D Q, CUI Y M, et al. Vehicle license plate segmentation and recognition method based on two times locations[J]. Journal of Henan Normal University (Natural Science Edition), 2016, 44(4): 151-156.) |
[16] | BORGES P V K, IZQUIERDO E. A probabilistic approach for vision-based fire detection in videos[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2010, 20(5): 721-731. |