基于红外图像识别技术的隧道防火预警巡检方法

母西军,铁新纳,冯博,乔涵宇,张涛

(1. 河南省海通消防安全工程有限公司,河南 郑州 450000;2.郑州市城市隧道综合管理养护中心,河南 郑州 450000;3.河南索凌机电设备安装工程有限公司,河南 郑州 450000)

0 引 言

隧道是一个及其封闭的空间,升温速度较快,在高温状态下,遇到易燃易爆物体极易引起火灾。隧道内空气流通不畅,累积有害有毒气体达到一定浓度后,人体的健康也将会遭到威胁。

为了解决上述问题,相关文献对此做了研究。文献［1］提出了一种基于射频识别技术的隧道防火预警系统,该系统采用射频识别(radio frequency identification,RFID)技术的防火检测标签作为隧道防火预警的检测手段,最终实现隧道的防火预警,但该系统由于外界环境和接触电阻等因素的不确定性,产生较大的热量,造成段子温度不稳定性。文献［2］提出了一种基于无线传感器网络(wireless sensor networks, WSN)的隧道防火预警系统,该系统由传感器节点、网关以及监控终端三部分组成,利用WSN技术,实现了隧道防火预警的功能,但该系统存在着网络布线困难与传输距离有限的问题。基于上述文献中的不足,本文提出了基于红外图像识别技术的隧道防火预警方法,设计了红外图像识别技术的隧道防火预警的硬件部分和软件部分;利用树莓派4代Raspberry Pi 4B 开发板,采集隧道红外图像,结合软件程序,实现隧道的防火预警;最后利用迁移学习和基于区域的全卷积神经网络(region-based fully convolutional network, R-FCN)算法,实现了隧道红外图像的识别［3-4］。

1 基于红外图像识别技术的隧道防火预警系统的设计

1.1 硬件设计

本系统的硬件设计采用了模块化的设计方案,包括主控模块、图像采集模块、图像显示模块以及预警模块四个部分。图像采集采用的是红外CCD摄像头、红外光源和红外滤波光片,实现了红外图像的采集;中控模块利用树莓派4代Raspberry Pi 4B 开发板,对采集到的红外图像进行实时处理与识别［5］;图像显示模块采用LCD屏,进行处理后的图像结果以及图像识别结果的显示;预警模块由采集器和微控制器组成的报警控制主机,以警示灯预警和现场语音播放完成防火预警［6］。基于红外图像识别技术的隧道防火预警系统硬件结构如图1所示。

图1 基于红外图像识别技术的隧道防火预警系统硬件结构图

系统的主控模块采用树莓派4B作为控制器,内部含有ARM架构的64位和1.5G Hz的微处理器Cortex-A72。使用BCM2711型号的片上系统,并且自带视频输入接口CSI和支持4k高清视频输入的双Micro-hdmi接口以及音频输出的HDMI接口,同时还具有千兆以太网的有线网口,内有无线WiFi模块［7］。

通过红外CCD摄像头进行隧道中的红外图像采集,采用RMONCAM林柏视的S320H型号摄像头模组。图像采集与主控模板之间采用USB接口进行连接,在红外CCD摄像头前配置了红外高透滤光片,能够很好地排除可见光的干扰,同时为了排除日光对红外LED光源的干扰,采用了遮光罩,进而提高了红外图像采集的高清度。

图像显示模块采用了LCD显示屏,显示屏采用的是320×240的分辨率,并且能够实现触屏控制,与树莓派4B兼容［8］。显示屏的相关参数如表1所示。

表1 显示屏的相关参数

预警模块采用报警控制主机,由采集器和微控制器组成。采集器实现了接收图像采集模块传输的信号,通过报警控制继电器进行输出,并与微控制单元(micro controller unit, MCU)进行通信,并发送至上位机;MCU负责远程实时通信,实现系统的实时现场预警与远程预警。

1.2 软件设计

采用模块化的思想方案,对图像采集、图像识别、图像显示、预警设置以及界面设计实现模块化［9］。基于红外图像识别技术的隧道防火预警系统的软件设计流程如图2所示。

图2 软件程序设计流程图

首先完成程序的初始化,对红外CCD摄像头进行检测,检测连接状态以及摄像头的调用情况,并采集此刻的帧图像。采用Opencv库对图像进行灰度化,在LCD显示屏上进行显示,通过对灰度化图像进行预处理操作。若达到阈值,则保存到指定的路径,否则进行下一帧的读取。接着进行判断图像数量是否达到要求,达到要求进行多帧图像融合处理,否则接着对下一帧图像读取。融合处理后进行图像识别,判断图像是否处于火灾状态,若是启动预警模块响应,若不是读取下一帧图像［10］。该系统中若图像识别检测到隧道发生事故时,将此红外图像信号传输至防火预警模块、MCU以及各数据库,同时由报警控制继电器输出。MCU实时通信和远程预警通信进行预警,并发出指令信号。此时启用远程远端技术传输至监控中心负责人的计算机端以及移动端［11］,实现远程预警,现场预警则以LED闪烁和语音播报的方式进行预警。

2 基于迁移学习和R-FCN的红外图像识别算法

基于上文红外图像识别的硬件设计,采用的是迁移学习和R-FCN算法。首先对程序进行迁移学习训练,通过系统的硬件部分对隧道的红外图像采集,将图像传输至卷积神经网络(convolutional neural network, CNN)进行红外图像卷积特征图的提取,使用卷积特征图和区域建设网络构建窗口传送至子网系统。将卷积特征图进行多卷积核计算,产生分数图,最后进行定位与识别。迁移学习和R-FCN算法的流程框图如图3所示。

图3 迁移学习和R-FCN算法的流程框图

迁移学习采用数据、任务以及模型之间的相像性,将原来学习过的知识模型作为学习新知识的基础,继续学习新的模型,从而降低深度学习的所需硬件资源。迁移学习定义为:

D(s)={χ,P(χ)},D(t)={χ,P(χ)}

(1)

式中:D(s)为原领域;D(t)为目标领域;χ为域的特征空间;P(χ)为特征空间对应的边缘概率分布。

通过区域候选网络(region propaasal network, RPN)可以获得感兴趣区域(region of interest, ROI)的位置,同时生成位置敏感分数图。假设通道数量为k2(c+1),最大值池化位置敏感分数图,并使用(i,j)表示ROI和位置敏感分数图单个区块的所在位置,且(i,j)的取值范围为(0≤i≤k-1,0≤j≤k-1),其中表达式为:

(2)

式中:rc(i,j|θ)为位置敏感分数图第c个通道中k2个分块中的第(i,j)个分块;zi,j,c为Feature Map中第c通道的Map,且c的取值范围为0≤c≤k2(c+1);bin(i,j)为ROI中k2个分块中第(i,j)个分块对应在Feature Map中位置集合;(x0,y0)为在ROI的左上角坐标;(x,y)为ROI中(x0,y0)为原点时每个元素的坐标值,且(x,y)的取值范围为i×w/h≤x≤(i+1)×w/h;n为第(x,y)个块里的像素总数;θ为网络的参数。

接着对通道数为k2(c+1)的位置敏感分数图进行最大值计算,表达式为:

Vc(θ)=max［rc(i,j|θ)］

(3)

式中:Vc(θ)为特征向量;max为每个位置敏感分数图中的最大值［14］。对向量作全连接,表达式为:

(4)

式中:Vc为特征向量;ωc为特征向量影响因子;b为向量全连接时的外界信息影响因素或者参考值;θ为网络的参数;k为数据通道中的分块;c为数据通道。

最后对特征向量进行Softmax函数的分类操作,表达式为:

(5)

式中:Oi(θ)为网络参数为θ下的特征向量分类值;eOi(θ)为位置第c个通道中网络参数为θ的向量全连接分类指标。

在网络训练阶段,采用梯度下降的训练方法,总的损失函数为每个ROI的交叉熵损失以及边界框回归损失之和［15］,即:

(6)

(7)

式中:SmoothL1(x)为R的损失函数。SmoothL1“光滑”后的L1保留了L1Loss中梯度稳定的特点,同时吸取了L1Loss中心点不可求导的缺陷。最后对红外图像进行识别,其表达公式为:

(8)

对每个特征图像帧进行判别,数据经过分类器训练得到,将得到的结果通过式(8)计算,从而得到最终隧道防火红外图像识别的结果。

3 试验结果与分析

为了验证本文研究的系统的有效性,做了相关的试验。首先搭建试验平台。该试验平台硬件选用PYNQ-Z2开发板,并对开发板的软件进行配置,其中配置参数如表2所示。

表2 试验环境配置参数

在本试验平台上安装了Linux系统,并且配置的IP地址默认为192.168.2.99,与计算机网口相连接。开发板自带了一个基于web端的python开发环境,可直接在网页上进行python程序的编写,本试验对隧道火灾判别标准如表3所示。

表3 隧道火灾判别标准

基于上面的数据,对本文研究的系统进行试验测试,试验设置的迭代次数为6 000次。首先对红外识别的准确度进行测试,测试结果并与文献［1］方法和文献［2］方法进行对比。试验结果对比如图4所示。

图4 试验结果对比

对红外图像识别的准确率进行测试,本文系统准确率明显高于文献［1］方法和文献［2］方法,并且准确率在80%到100%之间波动,准确率最高可达96%;文献［1］方法的准确率在60%到80%之间波动,并且准确率最高为80%,与本文研究的系统相比存在着差距;文献［2］方法的准确率在50%到80%之间波动,并且准确率最高为78%,与本文研究的系统相比存在着较大的不足。由此可见,本文研究的系统相较于文献［1］方法和文献［2］方法,对红外图像识别的准确率较高,有一定的优势。

系统运行12 h后,再对比本文研究的系统与文献［1］方法、文献［2］方法之间消耗的功率。试验结果如图5所示。

图5 三种方法试验结果对比

由图5可知:本文研究的系统在系统运行12 h时,系统消耗的功率为100 W;文献［1］方法在系统运行12 h时,系统消耗的功率为180 W,与本文研究的系统相比消耗的功率较多,并且存在很大的差距;文献［2］方法在系统运行12 h时,系统消耗的功率为160 W,因此该研究防火性能较好。

4 结束语

为了预防隧道火灾的发生,本文提出了基于红外图像识别技术的隧道防火预警方法,并设计了基于红外图像识别技术的隧道防火预警系统。首先对硬件系统进行设计,采用红外CCD摄像头、红外光源和红外滤波光片,实现了红外图像的采集;然后利用树莓派4代Raspberry Pi 4B 开发板,对红外图像进行实时处理与识别;最后利用迁移学习和R-FCN算法,实现了红外图像的识别,并提高了红外图像识别的准确率。由于隧道运行对信号不好,导致在信号传输时,存在着传输速率慢的问题,因此还需更做深一步的研究。