摘 "要:结合声光图技术,针对传统森林火灾报警器系统延迟、智能化程度低、防抖性能差等问题,提出基于视频的森林火灾报警系统。通过介绍该系统的工作原理,并与传统森林火灾警报器进行对比分析。研究表明,基于视频的森林火灾报警系统具有目前我国森林火灾报警系统中智能化程度高、响应灵敏、报警精确度高、稳定性强和可靠性高等特点,是目前我国森林火灾报警系统的一大特点,主要表现在报警系统的现实意义积极,应用前景远大。
关键词:森林火灾;火灾报警系统;远程监控;卫星遥感;风险监测
中图分类号:TP391.41 文献标志码:A " " " " "文章编号:2095-2945(2024)20-0025-07
Abstract: Using acousto-optic map technology, aiming at the problems of traditional forest fire alarm system, such as delay, low intelligence and poor anti-shaking performance, a forest fire alarm system based on video is proposed. The working principle of the system is introduced and compared with the traditional forest fire alarm. The research shows that the forest fire alarm system based on video has the characteristics of high intelligence, sensitive response, high alarm accuracy, strong stability and high reliability in the forest fire alarm system in our country at present. It is a major feature of the forest fire alarm system in our country at present, which is mainly manifested in the positive practical significance of the alarm system and broad application prospects.
Keywords: forest fire; fire alarm system; remote monitoring; satellite remote sensing; risk monitoring
森林火灾是世界上发生次数最多、处置难度最大、危害最严重、突发性强、破坏性大和危险性高的自然灾害之一,不仅对生态环境造成破坏,还会对人类社会产生深远影响。
随着信息技术的发展,我国森林防火监测预警系统的核心已经从护林员和巡逻员为主的人类防御系统转向以卫星遥感、视频监控(包括铁塔、无人机、直升机上的视频监控)和火灾风险监测等为主,森林防火监测预警体系已成为我国森林防火监测预警体系的核心。对护林员的瞭望(现在大部分地区已经实现了24小时全天候观察,而不是人员站岗的视频监控设备)辅之以巡护员现场验证的天地一体化技防系统[1]。其中,卫星遥感主要用于火灾发生前的热点监测等大尺度观测,以及发生森林火灾后的过火面积测定等。
检测森林火险主要有以下方法。①遥感技术:利用卫星或飞机上携带的遥感设备,对森林地区进行温度、烟尘、火情、火险探测等遥感影像的获取。②地面监测站:在重点林区建立地面监测站,通过温度、湿度、风速、风向及烟雾等参数在内的传感器、照相机等设备,对森林环境进行实时监控,对有无火源通过视频监控。③无人机巡查:利用无人机搭载的高清摄像头和红外线传感器,对重点林区进行巡查,发现异常情况及时报警。④人工巡查:安排人员进入林区进行巡查,观察是否有火灾隐患,发现异常情况及时上报。
监测设备的探测重点通常是对重点林区的气象进行探测,如重点林区的温度、湿度、风速和风向等。森林火灾的发生和延展,可能会受到这些气象因素的影响。例如,高温和干燥的气象条件会增加森林火灾的风险,而大风会加速火灾的传播。因此,对这些气象要素的监测和分析,对森林火灾的预测和预防,都起到重要的作用。
1 "森林火灾的特征分析
通过对实时图像处理,森林火灾报警系统判断是否发生森林火灾。不管是前期产生的滚滚浓烟,还是火苗的直接燃烧,镜头都能捕捉到它们在森林里燃起大火时的身影。导致森林产生火焰、烟雾的原因有2个。
一是由于气候环境的湿度低,即空气干燥导致环境温度高。相对湿度指空气中水汽压与相同温度下饱和水汽压的百分比,空气越干燥相对湿度值越小,直接影响森林可燃物的干湿情况,尤其是燃烧时相对湿度小的水分蒸发快,燃烧起来的可能性更大;气温越高,水分蒸发的可能性就越大;枯枝败叶及林内细小可燃物太干也易引发林火[2]。
二是大量易燃物堆积在森林中,乔木、灌木、草类、青苔、地衣、枯枝落叶、腐殖质和泥炭等林中一切有机物质都属于可燃性物质。其中,燃烧有火焰的可燃物,也叫明火,可将燃烧的气体挥发出来,从而产生火焰。
视频智能识别系统是利用计算机视觉,实时采集视频摄像数据,运用大数据分析,第一时间自动识别出火情(烟雾及火焰),定位火灾点并报警。在森林的方圆几公里安装警报器,当森林火灾燃起时,具体火灾位置就会被监测到,且火灾图像会被自动采集(前端图像采集系统),视频中获取的图像也是通过计算机来处理的,并且自动输送到警报器监控部(图像数据传输系统),来判断周边形式。
2 "森林火灾特征检测方法
2.1 "基于视频的火焰检测
火灾与干扰视频是通过摄像机或网络下载获得的,是为了便于后续处理而对视频格式进行调整,并在帧缓存中保存图像序列的。通过图像滤波处理、形态学处理等对已获取的火焰视频图像进行预处理,达到抑制噪声干扰的目的。利用火焰颜色建模、特征提取、图像分割和形态学处理等方法,对预处理后的图像进行了疑似火焰区域的提取[3]。研究有效的目标探测和目标追踪算法,实现视频火焰探测追踪,根据被分割的疑似火焰区域,来提取分析火焰目标静动态特征。
2.2 "基于视频的烟雾监测
基于视频的烟感检测算法主要可分为预处理选取烟雾候选区域、特征提取和判别分析3个部分。
2.2.1 "预处理选取烟雾候选区域
通过使用自适应的混合高斯模型算法提取运动目标,并结合色彩特征和纹理特征筛选算法提取得到烟雾的候选区域[4],通过混合高斯模型算法(Hybrid Gauss Models)提取运动目标。
2.2.2 "特征的提取
将选取的烟雾区域进行色彩分布分析,并经过不断测试收集,总结出分析烟雾图像色彩变化规律是烟雾一般为白、青、灰、黑色,其R、G、B 3个分量值大致相等, 且正好能分布在RGB色彩立方体的对角线上。将烟雾图像的色彩规律进行分析,将图片从RCB色彩空间转换成HSV色彩空间[5]。并以此设计本文烟雾色判断条件,对运动侦测得出的区域进行色彩分析,对不具备烟雾色特征的运动物体进行形态学处理并对运动侦测及色彩分析后的区域进行连通性分析,从而在视频中得出烟雾区[6],可以进一步排除该区域。
2.2.3 "判别分析
在烟雾疑似区寻找烟雾的3个动态特征,对提取到的特征向量进行判别分类,从而以支持向量机(SVM)和阈值判别法作为判别分类算法,检测烟雾是否出现[7]。
3 "森林火灾报警系统的实现
3.1 "系统平台组成
通过云台USB摄像头检测到森林中有火苗,并传送到3399pro处理器,3399pro处理器具有强大的计算能力,通过3399pro计算检测烟雾,利用传感元件接收火灾中发生的物理现象(热释电探测器),将其转换成易于处理的物理信号,并连接网络,将处理结果转换成电信号由路由器发送到软件pc端,软件设备的扬声器发声报警,即通知工作人员有火灾发生。报警系统平台的组成图如图1所示。
3.2 "火焰检测及仿真
3.2.1 "火焰图像识别算法
将当前采集到的视频图像与前一张图像进行差分操作,判断其是否有火焰在实验现场发生。如遇圣火情形,应对所处地区进行判断;不然的话,就得继续等待,根据下一幅图的过程来进行判断。如图2所示为算法流程的圣火图像识别。
疑似火焰图像预处理:因为实验现场的环境比较复杂,噪点也比较多,所以首先要将采集到的视频图像进行降噪处理。疑似圣火区域提取:按照图像分割计算的方法,划出疑似圣火区域并提取疑似圣火区域的特征图片,为下一步提取圣火特征而作准备;图3为连线抽取圣火疑似区域特征图片,得出火焰动态特征。该环节负责所抽取的3类特征,使之能够归类[8]。
通过支持向量化来完成火焰识别算法的优化,同时结合火焰的几何特征和动态特征,用几种色彩模型的类比来完成对火焰色彩特征的有效提取,最终选择YCbCr色彩空间模型。
3.2.2 "火焰颜色特征提取
因为火焰的静态特征最显著的特征是色彩,所以在视频画面中主要使用色彩程度的相关信息,从而提取出火焰的色彩特征,这是圣火识别过程的关键所在。
所采用的颜色模型为YCbCr炫彩版。在YCbCr色彩模型中,它与RGB机型的区别在于,它本身有一种成分表示颜色的明暗以及2种成分表示颜色的色差,但它们之间呈现的是一种线性的关系[7]。人体视觉系统相比色彩的浓淡更能够灵敏地感知到亮度信息,这就是其比RGB更能彰显这款色彩机型的地方。
使用RGB色彩空间模型有一个缺点是要依赖于照明度,即如果要改变一副图像的照明度,在使用火焰像素点的分类准则时,RGB色彩模型的辨识效果会变得差一些,而且也不可能将一个点的像素值分解成能够模拟火焰颜色的色度,然而却无法将其强制用色度进行模拟。因此,RGB色彩机型需要向色彩空间机型转变。
RGB色彩空间转YCbCr色彩空间除了可以移植RGB色彩模型的标准外,还实现了标准化,且YCbCr色彩空间模型满足需求,利用YCbCr色彩空间构造出一般的亮度模型,用来区分火焰的像素点[9]。
。(1)
对于给定的图像,可以用YCbCr色彩空间模型表示,则3种成分的平均数可定义为[10]
, (2)
式中:(xi,yi)表示像素点的坐标值;K表示图片的像素点总数。
RGB色彩模型既要满足R2G2B的火焰定义又要满足R2RME,在转换成YCbCr色彩空间模型后,RGB 色彩模型有以下形式[11]
Y(x,y)gt;Cb(x,y) , (3)
Cr(x,y)gt;Cb(x,y) , (4)
式中:Y(x,y),Cb(x,y),Cr(x,y)分别代表光度分量、艳色度分量、色胞度分量,分别在坐标值为(x,y)的地方。
由图4可知,RGB彩图与R、G、B 3种颜色经过 Y、Cb、Cr 3种方式处理的图像,可以很容易地观测到火焰区域,从而验证方程的效力。
除了式(3)和式(4)2个准则外,由于火焰区域一般是所在观测区内最明亮的部分,且YME(Y方式处理的火焰曲率)、CbME(Cb方式处理的火焰曲率)、CrME(Cr方式处理的火焰曲率)的平均值是经过Y、Cb和Cr 3种方式处理后的图像。
影像中火焰区域的Y值普遍大于CbME,Cb值总体小于CbME,Cr值总体大于CrME。这一规律已被多次实验成功验证,故可定义为图中火焰区域(火焰区)。
图4为Y、Cb、Cr 3个通道,能够看到很多细节。按照这个图像可以去定义,在火焰像素点区域,Cb声道和Cr声道有着显著的区别,Cb声道明显呈现“黑色”,而Cr声道则明显呈现“白色”。
F(x,y)=1,|Cb(x,y)-Cbmean(x,y)gt;gt;τ0, " 其他 。 (6)
通过由1 000多个图像组成的图像集合,把图像集按照图像的阈值进行分割,并在ROC曲线创建中均采用了式(2)—式(6)。如图5所示的R值,其中每个点包含了3个值。比如ROC曲线中的b点,对应 90,准确率0.7,错识率0.1。
由图5可知,高准确率也对应着高误差率。因此,只需将辨识火焰的准确率超过90%,而误差率低于 40%,则R=40就会被选中。
在灭火过程中选取1 000幅图像,这些采集到的图像照明度高、范围广,对这些图像集中的火焰区域进行手动分割,并创建了16 309 070个像素点的直方图在Cb-Cr色度的平面上。
图6为火焰像素在Cb-Cr平面范围内的分布情况。火焰像素区域可以通过fu(Cr),fI(Cr)和fd(Cr)3个多项式在Cb-Cr平面上表示[12]
fu(Cr)=2.6×10-10Cr7+3.3×107Cr6-1.7×104Cr5+5.16×
10-2Cr4-9.10×Cr3+9.6×102Cr2-5.6×104+1.40×106,
fI(Cr)=-6.77×108Cr5+5.50×10-5Cr4-1.76×10-2Cr3+
2.78Cr2-2.15×102Cr3+6.62×103,
fd(Cr)=1.81×104Cr4-1.02×10-1Cr3+2.17×10Cr2+
2.78Cr2-2.05×103Cr+7.29×104 。
通过定义火焰区域的识别准则后[11],用3个多项式来标出火焰区域、边界受曲线限制的区域。
式中:FCbCr(x,y)表示一个像素点,且坐标值为(x,y),判断其是否落在限制区域内。说明落在禁区之内的是1,落在禁区之外的是0。
3.3 烟雾检测及仿真
3.3.1 视频移动方向侦测法
在自然界中,无论是燃烧还是爆炸产生的烟雾,烟雾的运动方向都是向上漂浮的,即使有风也是向左上或向右上移动,所以可以通过利用烟雾运动方向规律和其他目标运动方向上的区别,可较好地将烟雾、云层与雾区分开。目前较流行的运动方向检测方法大都使用光流法与运动块检测方法,由于本文需实时检测,而光流法运算量过大,所以本文采取运算量较小的运动块检测方法。
为了利用烟雾向上运动的特性,而在短时间内,烟雾的形态并没有较大变化,故可通过相邻帧计算出差值的大小。如图6所示,设 IT(X,Y)为第t帧九宫格中心的视频块,所以在第t+1帧可能会有1~8个运动方向,记IT+1(X+1,Y),IT+1(X,Y+1),IT+1(X+1,Y-1),IT+1(X-1,Y),IT+1(X-1,Y-1)。Y-1、IT+1(X、Y-1)、IT+1(X+1、Y-1)分别是位于中心视频块1至8号的8邻域视频块中的T+1帧视频。通过公式(9)可求出第1到8号视频块和中心视频块的差异[13]。
式中:E表示差异数量,w、h分别表示宽、高,i、j表示图像的坐标(i,j)处的像素值,t为第t帧。检测流程如下。
1)将图像灰度化,得到灰度图G(x,y),如式(10)所示。
G(x,y)=0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y) 。 (10)
2)接着计算第t+1帧,8邻域图像在候选区域G(x,y)的差值E1—E8。
3)随后再选择E1—E8的中值,取最小邻域为G(x,y)的运动方向,若运动的方向范围在2—3和3—4之间,则判断该区域向上运动,然后将其送入分类网络,判断是否为烟雾。
3.3.2 烟雾图像预处理理论基础
拍摄设备都会因为场景、亮度、噪点、光线的不同而影响烟雾的侦测效果,图7为原高清画面,经过椒盐噪点处理后的画面如图8所示,经过高斯噪点处理后的画面如图9所示。椒盐噪音的特点在于噪点的像素深度几乎是固定的,而且位置(point position)是随机的。高斯噪音一般是感应器的噪音[14],因为灯光不好、温度太高,通过合适的预处理方法,减少视频中的干扰信息,增强目标烟雾,可提高烟雾的检出率。
1)均值滤波。均值滤波是一种计算复杂程度较低但能较好地消除椒盐噪音,称为线性滤波法。均值滤镜是通过均值滤镜模版对图片进行完整的浏览,计算出模版范围内的Pixel均值并对模版覆盖位置的中心值进行替换,从而实现滤除杂讯的目的。由于椒盐噪点几乎独立,所以采用此方法将像素点、周围点的均值去替换原像素点,可较好去除椒盐噪声,然而并未考虑像素点间的过渡关系,故容易丢失部分细节信息。以5为半径的均值滤波模板 M5 为例,见式(11)。
式中:Im表示经过均值滤波后得到的图像,I表示原图像,h和w分别表示模板的高度和宽度,x和y分别表示当前滑动模板的偏移量,相对于原图像的原点而言,分别表示模板的偏移量。
2)高斯滤波。在消除高斯杂讯方面,高斯滤波法或线性滤波法更为擅长。高斯滤波法是通过采用滤波器模板对图像的所有像素点加权平均,滤波器模板中的每个权重皆满足高斯分布。通过对图像进行高斯模糊,然后沿着图像的x和y方向以卷积的方式滑动高斯滤波,卷积和重合像素进行卷积,再将模板中心像素值替换为卷积值,并以I表示原灰度图,Gσ为滤波器模板,Iσ为滤波后的图像,如式(13)所示
式中:Iσ表示高斯滤波后的图像,I为原图像,Gσ为HighScream模版,h和w分别为Model版的 High和Width,x和y表示当前滑动窗口在原图原点的偏移量。
3)HSV色彩空间转换。HSV(HUE、SATURATION、VALUE),不同于RGB红、绿、蓝)三原色,HSV 色彩模型更接近于人类对色彩的感知方式RGB是加法原色模型,以三原色组合的方式,呈现不同的颜色,而HSV是以颜色、深浅、明暗3种方式计算出颜色信息[15]。由于RGB通道并不能很好地反映目标的具体色彩信息,因此HSV空间相对于RGB空间而言,更能直观地表现出色彩的明暗、色调和鲜艳程度,更有利于突出目标烟雾的特征表现,以下对HSV锥形机型进行说明,HSV锥形机型的特点如下:①圆锥顶部的旋转角度代表色调H。色相取值范围为0~360°,0°表示红色,顺时针方向从0°开始转动,120°表示绿色,240°表示蓝色。②锥体顶端的圆半径表示S的饱和度。饱和度取值范围为0~1,圆心位置值为0,边缘位置值为1。每一种颜色都代表了饱和度反应颜色和光谱色接近程度的一种谱色分别与白色混合而成的色彩。饱和度越大,说明这个颜色的光谱色比例就越大,颜色越鲜艳。饱和度为0时,表示这个颜色谱色的比例为0%,也就是黑白两色;在饱和度为1的情况下,这个颜色谱色在标志中所占的比重为100%。③锥高代表明度V。明度的取值范围也是0~1。明度代表这个颜色的明暗程度,当颜色明度为0时,该颜色明度最低,为黑色;当颜色明度为1时,此颜色明度较高,若饱和度为0则为白色。
计算机中,图像采用RGB格式存储与显示,像素值分别代表三原色分量。从RGB色彩空间向HSV色彩空间转变的途径有
3.4 "报警方式
以声、光图结合的方式报警,首先利用百度地图,在发生火灾时会精准定位并显示在桌面上,在管理中心合理位置安置扬声器(发出警报声),发出警报声后,声控灯在警报时闪烁红灯,无警报时闪烁绿灯。最后短信推送火灾情况给相关负责人员。
信号传输采用有线网络+无线网络相结合的方式进行传输,对前端基站的报警信息进行监控,远程控制、输出显示等工作,后台数据分析系统的前端视频监控图像全部在后端监控管理中心完成。
热释电摄像机采集的图像信号处理与传输采用一体化的高度集成设计,集成360°全方位重载变速云台、高性能红外热成像模块及可见光摄像机模块、内置热成像及可见光联动控制模块、智能视频分析、数据采集及网管系统。
4 "结束语
一场大火将给森林带来毁灭性的破坏,这是制约林业经济发展的一个重要因素。预防森林火灾的发生和蔓延,可以使人民生命财产得到保护,降低损失。基于视频图像的森林火灾报警系统,能够很好地解决传统森林火警系统的疑难问题,能够及时准确地提供火情发生的时间、地点、火情大小等信息,能够大大地缩短发现火情到开始救援的时间,为森林火灾的及时救援赢得极其宝贵的时间。
参考文献:
[1] 闫德民,李庆阁.我国森林火灾监测体系现状及展望[J].森林防火,2017(3):27-30,54.
[2] 黄红.贵州省森林火灾特征分析[J].贵州气象,2009,33(S1):62-64.
[3] 刘芳.面向视频的火焰检测与跟踪算法研究[D].南昌:南昌航空大学,2018.
[4] 何大超,娄小平,唐辉.基于动态特性的实时视频烟雾检测[J].计算机应用与软件,2014,31(2):201-204.
[5] 曹灿灿,龚声蓉,周立凡,等.基于HSV色彩空间特征的视频烟雾检测[J].电脑技术与开发,2022,32(5):171-175.
[6] 王娜.基于视频的火灾烟雾探测算法研究[D].西安:西安理工大学,2023.
[7] 房世超.基于视频的烟雾检测[D].北京:中国地质大学(北京),2017.
[8] 刘培江,董辉,宋子刚,等.基于视频图像处理技术的火焰识别算法[J].热能动力工程,2021,36(3):64-67.
[9] ALLISON J T,DEYUE Y. Training peripheral vision to read:Reducing crowding through an adaptive training method[J].Vision Research, 2020,171:84-94.
[10] FRANCESCO R. EGO-CH:Dataset and fundamental tasks for visitors behavioral understanding using egocentric vision[J].Pattern Recognition Letters,2020,131:150-157.
[11] AUDREY T. Rapid scene categorization:From coarse peripher
al vision to fine central vision[J].VisionResearch,2020,170:60-72.
[12] MARWAN A H,NAJEED A K. Investigation and classificat
ion of MRI brain tumors using feature extractiontechnique[J].Journal of Medical and Biological Engineering,2020,40(1):307-317.
[13] 曹灿灿.视频烟雾检测方法及其在森林火灾预警中的应用研究[D].大庆:东北石油大学,2022.
[14] HORN B K, SCHUNCK B G. Determining optical flow[J].Artificial intelligence, 1981,17(1-3):185-203.
[15] 张建明,黄继风.基于视频的实时烟雾检测算法[J].计算机应用与软件,2016,33(12):248-252.