杨 羽,贺超广,涂 圆,赵杰锋,周晓萍,唐立军
基于热成像的渗漏源检测
杨 羽1,2,贺超广1,2,涂 圆1,2,赵杰锋1,2,周晓萍1,2,唐立军1,2
(1. 长沙理工大学 物理与电子科学学院,湖南 长沙 410114;2. 近地空间电磁环境监测与建模湖南省普通高校重点实验室,湖南 长沙 410114)
针对屋面渗漏源难以检测的问题,研究了基于渗漏区域红外图像特征的灰度分段映射图像增强方法,提出了一种基于样板矩阵的图像快速识别技术,设计了一个屋面全自动渗漏源检测系统。在5m×3m屋面设置渗漏源形成多个渗漏区域,采用Mecanum轮小车搭载该系统对渗漏源进行检测,结果表明,该系统可以在89s之内完成检测工作,总测试150个次渗漏点,漏测12个次渗漏点,识别准确率大于90%。该技术检测效率高、操作简单,配合相应载体可用于各类不明渗水源检测。
红外热成像;渗漏源检测;图像识别;灰度分段
实现屋面渗漏追踪的技术关键点是实现对渗漏源的识别。现在主要依靠人工检测,检测效率低下,有时在渗漏源附近没有明显水域出现,很难找到渗漏源位置,对于复杂墙面往往要通过人工采取破坏性的方法查找渗水源,工程量大、效果不佳,造成的浪费极大,有些承重构架甚至无法通过人工找到渗水源。目前国内外还没有发现直接用于房屋渗水的专用检测装置,相关的检测方法效率不高、检测准确率低。本文利用红外热成像对地面渗水源头进行追踪检测,探索灰度分段映射图像增强方法和基于样板矩阵的图像快速识别技术,研究渗漏源红外自动快速检测方法,为屋面渗漏源检测提供有效的技术支持。
渗漏源的识别是基于渗漏源附近水温存在差异这一物理特性。热水的渗漏问题较简单,这里主要研究冷水渗漏识别。一般渗水源的温度会比环境温度要低,由此可以依据红外图像的信息对渗漏源进行识别,但由于温差不大,需要先通过灰度分段映射扩大其渗漏图像边缘,再进行二值化处理得到渗漏边缘图像,最后再利用图像快速识别技术对处理后的图像进行快速识别。
红外热像仪镜头所拍摄获得的红外图像难以区分渗漏区域,必须对图像中渗漏区域边缘部分进行放大。如果对插值放大得到的原始灰度图直接输出,图像的对比度低,成像图片的视觉效果较差[1]。人类的视觉特性是非线性和各向异性的。人眼倾向聚焦于变化的灰度域,并且对图像平滑段中的噪声比对特定段中的噪声更敏感,所以当增强图像时,使图像的部分特定段中对比度增加,而在平滑段中减弱[2]。这里采用灰度分段线性映射,其图像增强的原理如下。
灰度分段线性映射图如图1所示,设变量为图像原始灰度最小值(初值为105),纵轴为灰度转换结果,横轴为原始灰度,为不定值(根据实际应用环境决定值的大小)。通过增强图像中各部分间的反差,即具体通过增强图像中某两个灰度值间的动态范围来实现,在图1中,经过灰度分段线性映射的变换过程,原图中灰度值在0~和(+)~255间的动态范围增加了,而原图中灰度值在~(+)间的动态范围减小了(,分别表示图像中最小灰度值和最大灰度值),从而使得整个范围内的对比度得到增强。
图1 灰度分段线性映射
在~(+)这一段显示绿色,低于显示蓝色,高于(+)显示红色,是显示绿色温度在灰度图里的宽度,灰度分段线性映射的计算公式如下式(1):
图像灰度分段映射是根据原始灰度图像中的每个像素灰度值,按照特定的映射规则,将其转换成另外的一个灰度值,从而达到增强图像视觉效果的目的。而分段线性灰度变换可以扩展图像上有用信息的灰度范围并增加对比度,而相应噪声的灰度范围最终会压缩到较小的区域。相较于其他类似算法,本文中将算法与嵌入式系统结合,进行了创新和改进。利用芯片对图像进行一个预处理,通过、动态变化来改变灰度分段映射的放大区间,以提高算法对图像的泛化处理能力。
这里可以使用此种映射方法,映射函数的变换曲线将原始图像根据像素灰度值分成3部分,在每部分中,变换后的像素灰度值都保持原来的次序,但都进行了扩展以此来提高对比度,这样,对应的3部分灰度的像素间梯度都会增加,即将低温部分和高温部分所占的比例扩大,缩小中间温度所占的灰度比例,从而有效地提高成像结果的视觉效果和图像识别处理效果。
经过灰度分段映射处理后的图像还需要对渗漏区域进行提取。本文通过对比红外成像中温度异常区域的温度和环境温度进行异常区域的筛选。
渗漏区域提取的方法。根据载体外置的温度传感器提取并保存正常的环境温度,在整个图像范围内进行比较。如果存在异常温度区域,则对图像进行二值化处理,得到异常温度区域的边缘图像。
图像的识别一般采用霍夫变换来实现,但霍夫变换占用内存较多、计算复杂且不容易识别到类圆形。目前应用较多的图像识别方法,计算都较为复杂,不适用于快速识别的场景。对于快速图像识别的难题,本文提出了基于样板矩阵的图像快速识别技术。
样板矩阵是由样板图像的图像数据组成的,样板图像的每个像素点对应矩阵中同位置的数据。如图2为直线样板所呈现的数据矩阵,图3为渗漏区域红外图像。
图2 样板矩阵和样板图像
图3 渗漏区域红外图像
考虑到温度异常区域有其他干扰因素,例如屋面下埋藏的其他管道。将经过二值化处理后的图像与样板矩阵比对,如果异常区域边缘呈现非渗漏区域的边缘图像,则认定为此异常区域非渗漏区域,反之则认定为渗漏区域。
渗漏区域图像识别的方法。存储若干有关的渗漏区域图像边缘的样板矩阵,将二值化处理后的异常温度区域图像分成若干个小块和多个样板图像进行比对,如果多个子区域与样板图像存在高度相同,则认定此区域不为渗漏区域。操作步骤如图4。
设为异常温度区域的数据矩阵,1,2, …,为样板矩阵,为识别系数。将异常温度区域的数据矩阵和样板矩阵相对应的数值相乘累加得到。
图4 图像识别处理流程
如果值超过识别系数,则说明异常温度区域边缘呈直线,不为渗漏区域。如果所有小区块的值都小于值,则说明异常温度区域为渗漏区域。的取值与数据矩阵的数值和图像对比的识别宽容度相关,需根据具体情况进行设定。
如果利用SRC(Sparse Representation-based Classification)的方法,SVM(Support Vector Machine)的方法,基于HOG(Histogram of Oriented Gridients)特征的方法以及基于深度特征学习的方法[3],图像识别率会有大幅度的提升,但计算性价比相较于本文方法较低,而此方法与霍夫变换等基础的图像识别手段相比有效地提升了效率且识别精准度也有了提升。
实现渗漏源循迹有两个必要条件:一是确定渗漏的方向;二是设计载体行进的轨迹。
根据渗漏源的扩散规则,渗漏源至扩散边缘的温度是逐渐升高的,由此可以确定渗漏区域的扩散方向。只需要保持红外图像的中心位于扩散区域的中心,且方向与扩散方向相反,则可以让运动装置沿着扩散痕迹追踪到扩散源头。
一般的循迹算法需要额外的摄像头做辅助观察或者需要较为复杂的处理方法才能实现。本方法只需要保证图像中心点一直在渗漏区域内,且中心点的温度与周围温度存在温度梯度差,就可以实现追踪功能,且计算量极低,处理速度快。
为了提高探测效率和记录渗漏源坐标,本文仿照扫地机器人设计了一种高效的行走线路规划。在进行搜寻之前先进行坐标系的建立,精确记录载体运动数据,建立轨迹地图,避免重复路径、记录渗漏源坐标。具体搜寻轨迹大致如图5。
图5 搜寻轨迹
利用optris PI640红外热像仪传感器阵列测温传感器、RZ/A2M芯片、Mecanum轮载体小车搭建了一个渗漏源自动追踪平台。通过蓝牙和按键来实现对整个系统的控制,可以实现自动渗漏源追踪、保存图片等功能。
利用RZ/A2M芯片对红外传感器接收到的信息进行处理,芯片通过usb接口接受红外传感器信息,通过串口传输运动指令给载体,实现其渗漏源自动追踪功能。
如图6所示,通过蓝牙和按键来实现对整个系统的控制,实现全自动的渗漏源追踪。使用串口来实现各个芯片和载体之间通信,实现对载体的运动控制。
如图7所示,系统在进行红外镜头初始化后,接收到红外镜头的红外图像数据,先初步构建一个地图以提高搜寻效率。通过灰度分段映射和图像识别技术对红外图像进行处理,判断是否存在渗漏区域。如果存在渗漏区域,则在渗漏区域中寻找渗漏源,找到渗漏源后,系统会记录渗漏源所在坐标。如果不存在渗漏区域,则系统继续进行寻找渗漏区域。如果系统完成全部区域的检测,则会停止运行在算法上避开传统图像识别的难题,根据实际问题用特殊的算法对图像中的部分信息进行识别,大幅提高了处理效率。地图的构建提升了载体运动的效率和检测速度。
图6 硬件系统组成结构图
图7 系统软件流程
用不同算法对同一幅图像进行处理,保证变量的唯一性,比较各个算法的结果。测试平台为笔记本电脑Windows 10 企业版20H2、i7-10870H、matlabR2018a。
4.1.1 图像增强算法仿真结果
将本文的图像插值算法与最邻近插值、双三次插值对比,分析各算法结果。
表1是各种插值算法对于红外成像方面处理的峰值信噪比。
表1 各种图像增强算法的峰值信噪比及其平均值
峰值信噪比是对于图像质量优劣的重要评判标准,峰值信噪比越高代表图像的质量越好,越低代表图像质量越差[4],实验测得的各算法的峰值信噪比平均值如表2。
表2 各种图像增强算法的峰值信噪比平均值
由表2不难看出本文设计的插值算法是常见插值算法中对红外图像处理效果最好的一种,图像增强算法的峰值信噪比的平均值比常规最佳值大1.6%。
4.1.2 图像算法处理顺序仿真结果
算法对图像处理的先后顺序也会对最后的成像结果产生影响[5]。将灰度插值和伪彩色处理两种算法对图像的先后处理顺序进行了分析,了解最佳的算法顺序,测试结果如表3。
由表3可知,先灰度插值放大后伪彩色处理的信噪比大。仿真测试的图像如图8,先灰度插值放大后伪彩色处理得到的图像更清晰。
4.1.3 红外图像识别仿真结果
将本文红外图像识别算法与传统算法以及目前较为先进的多角度红外图像识别算法做对比。
表3 算法处理先后顺序的区分差异
图8 算法处理不同顺序结果对比图
由表4可知,本文无论是与传统霍夫变换相比还是与现在最新的多角度红外图像目标识别相比,处理速度上都有着较大的优势,识别准确率也有着一定的优势。即使使用优化后的霍夫变换(基于投影法的Hough变换)[6],处理速度依然比不过本文所提出的快速识别算法。
表4 不同算法处理红外识别问题的时间
本文建立了一个5m×3m的屋面模拟渗漏区域,此区域内存在一个或多个渗漏区域。在地面覆盖一层木板来模拟实际屋面情况,在木板下分别设置1~3个固定出水源来模拟未知渗漏源,分别进行25次搜寻测试,记录对每个渗漏源的搜索结果。
4.2.1 系统载体设计
利用Mecanum轮小车模拟搭载检测系统的载体,实物图和结构分析图分别见图9和图10,通过对Mecanum轮结构的分析,在平面内运动时轮子有3个自由度,基于轮子特点通过4个轮子的组合,实现平面内全方位移动,实现检测系统的运动。
实现渗漏源的准确追踪需要精确且灵活的运动装置,这里使用Mecanum轮式小车来充当运动载体。轮式移动机器人被认为是一种在水平面上具有线性和角度运动的规划器机构[7],而Mecanum可以通过电机控制每个轮子的运动分量来实现360°的无死角运动。
图9 Mecanum轮实物图
图10 具体运动分量
4.2.2 系统与载体的协同方法
红外图像经过处理后,将图像处理后的识别结果经过分析,向载体发出控制信号通过控制每个Mecanum轮的运动分量来控制小车运动。具体控制方程如下:
式中:为小车整体的合成速度;1、2、3、4为小车四轮的对应速度;为系数和实际情况有关;W为小车转动的角速度。
4.2.3 系统测试结果
对不同位置的模拟渗漏源进行多次测试,得到表5、6、7测试结果。源1、源2、源3分别代表渗漏源1、渗漏源2、渗漏源3。
由表5、6、7可知(√和×分别表示渗漏源检测成功与失败),经过75次测试,整个系统总检测150个次渗漏源,仅出现12个次渗漏源漏测现象,检测总成功率为92%,最长检测时间为89s。单渗漏源情况平均耗时为69.2s、成功率为92%,双渗漏源平均耗时为73.16s、成功率为90%,3个渗漏源平均耗时为74.28s、成功率为93.3%,探测时间和成功率基本无差别,渗漏源数量对探测耗时和探测成功率的影响极小,说明系统可以有效检测渗漏源。整个检测过程中,蓝牙和功能键均能正常工作,有效控制系统的运行。
表6 系统测试结果-2个渗漏源
表7 系统测试结果-3个渗漏源
针对屋面漏水渗水源查找困难问题,采用红外识别的方法,研究了基于样板矩阵的图像识别技术和基于渗漏区域红外图像特征的灰度分段映射图像增强方法,设计了一个屋面全自动渗漏源检测系统,该技术能够对地面渗水情况进行精准查源、应用范围广,非接触式、大面积检测、高效稳定,降低渗漏检测的成本,下一步研究中加入HOG等深度学习相关算法,通过结合具体环境训练出针对的灰度转换函数以及渗漏识别参数,对成像效果进行机器评分,在不同环境下切换对应训练后的算法,实现最好性能。以Mecanum轮小车为载体,对模拟渗漏区域进行检测,检测准确率大于90%,检测时间最长为89s。选用不同的载体,该系统可以应用于各类不明渗水源的检测。
[1] LIU Dunnan, HOU Rui, LI Qiang, et al. Research on fuzzy enhancement algorithms for infrared image recognition quality of power internet of things equipment based on membership function[J]., 2019, 62(1): 359-367.
[2] ZHENG Zhaoping, ZENG Hansheng, DING Cuijiao, et al. Summary on the infrared thermal imaging temperature measurement technology and its application[J]., 2003, 25(1): 96-98.
[3] 赵璐, 熊森. 多视角红外图像目标识别方法[J]. 红外与激光工程, 2021, 50(11): 403-408.
ZHAO Lu, XIONG Sen. Multi-view infrared image target recognition method[J]., 2021, 50(11): 403-408.
[4] BAI Honggang, JIN Yingji. Application of infrared technology in military[J]., 2008(6): 5-7.
[5] 蔡毅, 王岭雪. 红外成像技术中的9个问题[J]. 红外技术, 2013, 35(11): 671-682.
CAI Yi, WANG Lingxue. Nine problems in infrared imaging technology [J]., 2013, 35(11): 671-682.
[6] 杨凯斌, 吴定祥, 龚金成, 等. 圆环陶瓷检测算法研究[J]. 中国陶瓷, 2017, 53(3): 39-44.
YANG Kaibin, WU Dingxiang, GONG Jincheng, et al. Research on detection algorithm of ring ceramics [J]., 2017, 53(3): 39-44.
[7] Alwan Hassan M, Volkov A N, Shbani A. Solution of inverse and forward kinematics problems for mobile robot with six mecanum wheels[C]//, 2021, 1094(1): 012071.
Leakage Source Detection Based on Thermal Imaging
YANG Yu1,2,HE Chaoguang1,2,TU Yuan1,2,ZHAO Jiefeng1,2,ZHOU Xiaoping1,2,TANG Lijun1,2
(1.,,410114,;2.,410114,)
To address the difficulty in detecting the source of roof leakage, an image enhancement method that uses the infrared image features of the leakage area was studied using gray segmentation mapping. Rapid image recognition technology based on a template matrix was proposed, and an automatic roof leakage source detection system was designed. Leakage sources were set on a 5m× 3m roof to form multiple leakage areas. A mecanum wheeled trolley was used to support the system while detecting these sources. The results showed that the system could complete detection within 89s, with a total of 150 leakage points tested and 12 leakage points missed, and the identification accuracy was greater than 90%. This technology has high detection efficiency and simple operation and can be used to detect all types of unknown water seepage sources with the corresponding carrier.
infrared thermal imaging, leakage source detection, image recognition, gray-scale segmentation
TN219
A
1001-8891(2022)07-0750-07
2021-05-26;
2021-08-06.
杨羽(1999-),男,本科生,研究方向信号检测与处理研究。
周晓萍(1973-),女,讲师,研究方向信号检测与处理。E-mail:zhouxiaoping1000@126.com。
唐立军(1963-),男,教授,博士生导师,研究方向为信号检测与处理研究。E-mail:tanglj@csust.edu.cn。
国家级大学生创业实践项目(S201910536003S);湖南省重点研发计划项目(2018GK2054)。