基于无人机巡检的渠道衬砌破损图像识别方法研究

马金龙，于 沭，王国志，苏安双，张国英，王双敬，陈路豪，李兆宇

(1.黑龙江省引嫩工程建设管理局，黑龙江 大庆 163316；2．中国水利水电科学研究院，北京 100048；3．黑龙江省水利科学研究院，黑龙江 哈尔滨 100080；4．中国矿业大学(北京)，北京 100083)

渠道作为一种重要的输配水建筑物，在实际工程中应用广泛，但在其所处工作环境发生变化时，会面临冻胀破坏以及其他类型的破坏。由于渠道线路长、分布范围广，受交通条件以及气候条件的影响，传统的人工现场排查很难及时准确的发现破损现象。此外人工检测时检测人员对是否发生破坏以及破坏程度判断的主观因素较大，对破损情况判断或存在一定偏差。因此有必要借助一些现代化手段如无人机、摄像头等工具对渠道的破坏进行检查，并辅以图像识别技术对其破损情况进行自动识别判断。

目前，利用无人机结合图像识别技术检测渠道破坏的研究较少，但随着无人机技术及图像识别技术的进步，越来越多的学者开始使用无人机巡检结合图像识别技术进行相关领域的研究。路宏遥[1]利用无人机技术检测结构损伤，提高了检测效率并满足自动化作业的工作要求。傅柯[2]利用无人机开展渠道巡查，实现了全方位、全时空、全覆盖的渠道运行情况监测。罗章海[3]利用图像识别技术提取识别河道流冰冰块情况，为河道冰情防治提供了高效率的监测手段，实际应用效果较好。罗优[4]使用无人机遥感系统拍摄的灌区图像，利用图像识别技术获取了灌区渠系的分布情况。王淼[5]利用无人机进行输电线路的巡视，识别准确率较高，在电力系统中应用前景广泛。蔡改贫[6]研究了输送带上连续采样矿石粒度的颗粒图像识别。王睿[7]、李庆桐[8]、马德芹[9]、陈建勋[10]等研究了隧道衬砌裂缝图像识别过程的特征提取及参数控制。郭秀军[11]、张盟[12]利用GPR技术实现快速无损的渠道衬砌破损检测。

利用无人机获取渠道衬砌的图像资料具有较大的优势，而图像识别技术在相关领域的研究已取得了较好的成果，结合无人机与图像识别技术可以实现快速、高效的渠道破损检测及评估。本文使用无人机巡检采集视频图像进行渠道衬砌损毁的分析，利用无人机航拍采集的图像进行计算机图像识别处理，使损毁的部分及详细信息更为直观地呈现出来，供渠道维修决策使用。

1 渠道衬砌损毁图像识别过程

现阶段应用计算机视觉检测渠道衬砌损毁的技术应用较少。针对无人机视频中获取的渠道图像，设计了基于计算机视觉算法的渠道衬砌损毁定位方法。该方法的主要流程如图1所示，具体步骤如下：(1)对无人机拍摄的视频按一定的帧数截取成相对连续的图像；(2)基于双窗Otsu阈值化方法将图像中的渠道衬砌部分和非衬砌部分(包括非渠道部分与衬砌损毁部分)进行二值化分类，在渠道中寻找非衬砌结构区域；(3)采用Canny边缘检测提取渠道的边缘，在边缘内的非衬砌结构即为渠道衬砌损毁区域。

图1 渠道衬砌损毁检测流程图

利用上述步骤获取的渠道损毁特征，识别出衬砌损毁区域以及渠道区域，进行渠道损毁比例分析；运用图像拼接技术，根据单张损毁程度通过汇总定位与分析得到整个渠道的损毁信息，得出损毁判别结果。

1.1 视频信息采集及分帧图像获取

利用无人机搭载的摄影机(如图2所示)以一定高度及视角飞行，以某一起点为基准沿渠道轴线方向分别采集渠道两侧衬砌的视频信息。将视频分帧处理得到独立的连续图像，如图3所示为视频中截取的图像，该图像反映了无人机拍摄视频的次序及河道的实际信息，再将无人机飞行时记录的轨迹坐标信息与时间信息相结合并与图像信息相匹配，即可以得到渠道的位置信息。

图2 巡检无人机

图3 无人机采集的渠道影像信息

1.2 图像阈值化

对获取的渠道图像，通过动态双窗Otsu二值化处理，再进行基于结构元素的膨胀、腐蚀、缝隙填充等一系机器形态学处理[13-14]，区分渠道衬砌部分和非衬砌部分，其中渠道中完好衬砌部分为一类，非衬砌部分呈现为对立的另一类，方便进一步处理。

在进行二值化处理时，首先进行双边滤波处理，采用动态自适应Otsu优化分离渠道中的损毁区域。将Otsu的基于最大类间方差的最优阈值[15]与Simphiwe提出的双窗自适应阈值法相结合，根据图像中渠道的图像，针对同一中心像素确定双窗尺寸，再对双窗应用Otsu法分别求得各自局部最优阈值，取两者中的较小者为最佳阈值，其中灰度值大于最佳阈值的为渠道中完好部分，小于最佳阈值的为损毁部分，对原始图像生成二值图。

(1)

式中，t为灰度级范围取值[0,1]；σB为最大类间方差，方差越大代表像素错分类率越小。

其次，根据最优阈值将图像f(x,y)二值化，fb(x,y)为二值化后的结果。用1表示大于阈值的结果，在图像中显示为黑色；0表示小于阈值的结果，在图像中显示为白色。如式(2)所示：

fb(x,y)=

(2)

通过上述二值化处理，即可将渠道原始图像处理为黑白交替的二值化图像，实现衬砌区域与非衬砌区域的初步分离。

1.3 边缘检测

二值化处理得到的黑白交替图像，再结合原图进行一定方法的预处理，然后采用边缘检测、最大联通阈、最小外接矩等方法，综合得出单张图片中河道的轮廓，并进行标记，完成渠道边界定位。

Canny边缘检测算法是最常用的边缘检测算法，采用Canny算子对二值化图片进行边缘检测时，先进行平滑滤波，后由微分算子进行边界求导。预处理完的渠道图像进行双边滤波[15-16]，按照一定的参数规则，求得待滤波图像的像素点及其邻域点的灰度值的加权平均值，有效滤去图像中的高频噪声。其中高斯滤波方法较为常用，式(3)为一维的离散高斯函数，选取适当参数获得一维高斯核。

(3)

式(4)为二维的离散高斯函数，选取适当参数获得二维高斯核。采用高斯核后滤波，需要对其进行归一化处理：

(4)

采用这两个方式需要注意的是，求得高斯核后，需要对其进行归一化处理。

滤波后对图像进行微分计算，对图像的梯度幅值进行非极大值抑制处理。像素点的梯度幅值很大，不表示该像素点位于边缘位置。应该只保留那些在其8邻域内的灰度值最大的像素点，而将非8邻域内极大值的像素点的灰度值设为0，剔除非边缘点。非极大值抑制是边缘检测过程中重要步骤，它可以实现图像边界的正确定位。图4为非极大值抑制的原理图。

图4 非极大值抑制的原理图

假设点C为待确定点，图中线条的方向为C的梯度方向，局部的梯度极大值出现在这条线上，所以点dTmp1和点dTmp2也可能是局部极大值。通过判断点C与点dTmp1、点dTmp2灰度值的大小即可判断点C是否为局部极大值点，若点C的灰度值小于点dTmp1、点dTmp2中任一灰度值，说明点C非局部极大值，不是边界点。该步处理完成后生成新的二值图像，非边界点的灰度值为0，可能的边界点的灰度值为255，得到了图像的边界图像。

2 工程应用

2.1 工程背景

某无坝引水工程地处高纬度寒冷地区[17]，经过多年运行，冻融侵蚀造成渠道破损严重，其中衬砌冲淤变形、冻融破坏、衬砌滑塌等是最常见的破坏类型。由于其工程规模巨大，利用传统的人工检测方法对衬砌破损情况进行检测存在效率低，评判水平不一致等缺陷。利用无人机搭载图像采集工具获取渠道沿轴线的衬砌情况，并基于图像识别技术进行衬砌破损情况及等级的评估对于快速确定渠道衬砌破损情况具有重要的意义。

2.2 渠道衬砌破损检测

利用前节论述的图像处理方法，将无人机录制的视频转为图像，并利用阈值分析处理为二值图，再利用边缘检测方法确定衬砌破损的区域。图5为不同时段及不同位置的4个无人机采集的渠道原图与对应的4个处理后的二值图，其中黑色为渠道完好部分，白色为初步认定与渠道材质不同的部分。

图5 不同位置的渠道原图及二值图

在阈值化的基础上，采用Canny边缘检测、最大联通域、最小外接矩等方法，综合得出单张图片中河道的轮廓，并进行标记，完成渠道定位。如图6为最大连通域效果图，即认定白色部分为渠道。将渠道边界用灰色标记，覆盖在二值图上即完成渠道定位。如图7所示，灰色为定位后的渠道边界。

图6 最大连通域效果图

图7 渠道定位效果图

2.3 损毁程度判断

在衬砌定位后的轮廓中，进行直线检测及容错处理[17-19]，识别出衬砌损毁区域以及未损毁区域，并进行定量分析，判断出视频分帧后每张图片对应河道位置的损毁程度。量化后可以加入人为定义的损毁程度阈值，在该损毁阈值之上定义为需要修复并标记，阈值之下暂不输出。首先统计图中已经定位渠道范围的面积，然后统计出白色损毁区域的面积，即可量化损毁程度。由损毁部分面积与定位渠道的总面积可以计算出损毁比例。在如图7所示的渠道中，经图像识别得到的渠道损毁比例为13.97%。再结合渠道破损阈值标准，即可自动判断是否需要进行修复[20-22]。

由于最初采集的无人机视频与渠道实际位置对应，经图像处理及损毁程度判断后的图片也与渠道实际位置对应。据此对损毁程度判断后的图片进行建模。建模后的渠道模型包括渠道以及根据渠道位置的相应段的损毁程度分析结果。

3 结 论

(1)本文提出了一种利用无人机及图像识别技术进行渠道衬砌破损的方法，利用无人机对渠道拍摄视频，提取视频中图像信息并使用图像识别技术进行渠道损毁段图像识别，可以实现实时、无人及快速的渠道衬砌破损状况检测。

(2)通过对某渠道的无人机巡检的视频信息的提取及图像识别的应用，检测出了衬砌破损部分，通过对河道轮廓的确定，得到了破损比例，可供维修决策使用。

(3)本文研究成果可以为图像识别渠道损毁的检测向工程推广应用提供基础，在工程现场使用时，还应根据渠道实际运行水位情况进行识别算法参数的调整。