风电场无人机巡检红外叶片图像拼接算法

周登科，郭星辰，史凯特，汤 鹏，郑开元，马鹏阁

风电场无人机巡检红外叶片图像拼接算法

周登科1，郭星辰2，史凯特1，汤 鹏1，郑开元1，马鹏阁2

（1. 中国长江三峡集团有限公司 科学技术研究院，北京 100038；2. 郑州航空工业管理学院 智能工程学院，河南 郑州 450015）

针对无人机拍摄叶片红外图像背景冗余信息较多、拼接精度不高等问题，本文提出一种基于形态学改进Chan-Vese分割与局部特征匹配的红外风机叶片图像拼接算法，首先，对图像进行中值滤波降噪，使用形态学运算改进基于Chan-Vese模型的水平集算法，生成表达主体的掩膜。基于掩膜去除冗余背景提取局部Harris特征点；对掩膜进行二次形态学腐蚀处理，抑制边界锯齿像素上的伪特征点；最后，使用暴力匹配及随机抽样一致（Random Sample Consensus, RANSAC）算法筛选出有效匹配点对，计算单应性矩阵实现匹配拼接。与传统图像分割下Harris拼接算法相比，本文改进后的算法拼接精度有明显提高，在不同的测试场景下显示出较强鲁棒性。

风力发电机叶片；红外图像拼接；水平集；形态学运算；Harris特征点

0 引言

在国家碳中和目标的指引下，风力发电机应用日益增多从而针对风力发电机设备的运营与维保需求日趋强烈[1]。风力发电设备易遭受湿热、紫外线老化等常见的环境影响，位于海上的风力发电设备所处环境更加恶劣，长期遭受盐雾等化学介质腐蚀[2]。传统的人工检修方法，会使得风电机组停机时间长，发电量损失严重，同时工人作业环境也十分危险[3]。自2016年起，以无人机为代表的无人巡检系统，在风电机组叶片、电桩基巡检等方面的应用逐年增加，由于无人机巡检重点为图像采集，而无人机高空拍摄时受视角及分辨率影响，图像内容有限，大量相似的局部图像不利于后期检测定位。因此，深入研究风机叶片图像拼接技术具有重要工程应用意义[4]。

较为成熟的图像拼接方法有基于模板匹配的方法、基于边缘匹配的方法以及基于特征点匹配的方法[5]。基于模板匹配指选择参考图像的一块区域作为配准时的模板，在目标图像中寻找与模板图片最相似的区域进行比对[6]。模板匹配法操作简单，但对图像的灰度信息非常依赖，要求图像不能含有较大噪声、旋转、尺度缩放等问题，使用范围很窄。

具体的图像拼接研究中，马宝琰等[7]提出了一种基于直线特征的风电叶片图像拼接方法，通过Hough变换检测叶片边缘直线特征，基于斜率相似性筛选直线集，并采用直线差异度配准直线，从而实现拼接。该方法特征容易获取，但不适用与背景复杂或具有尺度透视变换的图像。卢泉等[8]针对变电站场景红外图像，提出一种改进最佳缝合线的红外图像拼接方法，在图像拼接后的重合区域引入局部权重系数，使用形态学操作抑制颜色差异强度，减少红外图像的噪声干扰。傅子秋[9]等人提出一种多场景下基于快速相机标定的柱面图像拼接方法，利用标定参数代替图像配准过程，采用柱面投影变换，将图像投影在圆柱面上进行拼接，具有较好的成像效果，但方法过于依赖标定参数，不易推广到现实场景中去。针对载荷移动场景下的图像拼接研究中，何赟泽等[10]提出了一种基于无人机速度信息的风机叶片红外图像拼接方法，利用U-net网络预测获得叶片掩膜图像，去除冗余的背景信息，同时，基于无人机速度信息，计算平移、旋转、缩放参数，进行拼接配准。方喜波[11]针对直升机对海搜索，提出了基于光电吊舱的广域搜索方法，为移动状态下载荷搜索决策及区域图像拼接提供了参考。

本研究前期在各地风电场深入开展调研及数据采集实验，海上风机目标如图1所示。所用无人机型号为大疆M300。

图1 海上风机

由于红外载荷分辨率较低，风机叶片较长，一根完整叶片需要多组图像数据才能完全表示。过于碎片化的图像不利于检测及缺陷定位，因此需要对所拍摄图像进行拼接。

通过研究发现，无人机叶片拼接存在两大难点；第一，复杂的叶片背景带来大量的冗余信息，不利于特征提取或比较；第二，无人机拍摄时包含一定的非刚性移动，图像间变换矩阵估计比较困难。针对上述问题，本文提出了基于形态学改进Chan-Vese（CV）算法分割与局部特征匹配的红外风机叶片图像拼接方法；其关键在于：1）研究风机主体与背景的差异性，通过形态学改进水平集分离主体与背景，去除冗余背景信息；2）基于分离掩膜，结合Harris算法对灰度的敏感性实现局部特征匹配，估计图像变换矩阵，最终实现图像顺滑的拼接。方法整体流程如图2所示。

图2 无人机红外图像采集及叶片拼接系统流程

1 基于形态学改进CV模型分割与局部特征匹配的红外风机叶片图像拼接

1.1 形态学改进CV模型水平集的前景分割

为了去除冗余的背景信息干扰，首先基于水平集方法进行风机叶片轮廓粗提取。水平集方法是一种使用高维超曲面等值点的集合表示闭合轮廓的方法，常用于图像分割[12]。其重点在于构建能量函数()。再通过求解能量泛函对应的Euler-Lagrange方程获得曲线演化方程。能量函数表示为：

公式分为三项；第一项用来约束轮廓线长度，旨在保证轮廓线当前条件下最短；第二项、第三项为轮廓线条件项，负责控制当前轮廓线演变趋势。式中为轮廓线长度权值；表示所求演化分割对象的轮廓边界线；表示目标分割图像；1为轮廓内部对象面积权值，2为轮廓外部对象面积权值；与1、2为正值常数，一般令1＝2＝1。1和2分别是演化曲线内部和外部的图像灰度均值。本文用CV模型代替演化曲线，CV模型是基于区域的水平集方法，该方法对于主体与背景平均像素差异较大图像效果显著，适用于风机叶片红外图像。令水平集函数为(,)，表示为：

代入能量函数，表示为：

式中：代表图像整体区域；为狄拉克函数正则化形式，表示为公式(4)：

为海氏函数正则化形式，表示为：

由图3可以看出，基于CV模型的水平集分割能够提取前景即叶片信息，但由于红外图像背景存在DN值和叶片主体较为接近的区域，在迭代中被演化曲线包围，此时提取的目标带有冗余背景信息，如图4所示。

图4 CV模型下目标分割

对分割结果进行形态学改进。考虑到初步分割结果包含许多不连续的孤点和斑块，首选使用连通域估计滤波进行去除。连通域指像素值相同且邻近的像素位置集合。通常有8领域与4邻域判别法[13]，如图5所示。

图5 连通域标识方式

本文使用4邻域判别法去除连接较弱的区域，对连通域标记示意如图6所示。

显然目标主体通常为连通域中面积最大区域，因此基于面积优选，保留最大连通域区域，结果如图7所示。

图6 连通域标记

图7 基于连通域估计滤波结果

连通域估计滤波后图像边界仍黏连部分毛刺及细桥，基于形态学开运算进行处理。图像开运算常用于图像边界修复。开运算即对图像先腐蚀操作，后进行膨胀。图像腐蚀能够除去孤立的小点、毛刺和小桥，但是对整体形状有一定压缩，进一步通过膨胀运算保证总的位置和形状不变。腐蚀运算以符号Θ表示，膨胀操作以符号⊕表示，公式为：

式中：表示原图像；表示结构元素，本文采用半径为15pixel圆形作为结构元素；(,)表示像素坐标位置。通过CV模型分割与形态学处理，完成对红外风机叶片目标与背景的分类，生成描述目标主体的掩膜，如图8所示。

图8 形态学处理后效果

1.2 基于局部Harris特征点匹配的图像拼接

Harris特征点对图像中灰度变化明显的区域较为敏感，其关键在于描述像素邻域梯度分布的二阶矩[14]，如公式(8)所示：

式中：和分别代表图像在和方向的偏导数。二阶矩阵有两个特征值1和2，一般来说，当1>>2时，自相关函数仅在某一方向上变化较大，表现为图上的直线部分；当1≈2且二者较小时，自相关函数在各个方向上变化较小，表现为图像的平面部分；而当1≈2且二者较大时，自相关函数在各个方向均增大，对应为图上的角点部分。

由于图像由像素块构成，因此背景去除后，叶片边缘不可避免地出现部分锯齿状像素点，而Harris算法对角点信息较为敏感，因此会在边缘处检测到较多伪特征点，如图9所示。使用RANSAC算法剔除误匹配特征点，但难以剔除干净，如图10所示。

图9 背景去除后特征点显示结果

图10 RANSAC算法筛选结果

因此，进一步在特征点匹配上加入非边界约束条件剔除边界误匹配特征点。在所生成的掩膜基础上进行一步腐蚀操作，生成新的约束掩膜，该掩膜处于叶片内部。通过该掩膜剔除边缘误匹配点对，效果如图11所示。

图11 形态学掩膜约束后匹配结果

图像间的平移、旋转、拉伸变化可以通过变换矩阵描述。具体计算方法如式(9)：

式中：(,)和(¢,¢)分别表示参考图像与待配准图像¢的匹配特征点坐标。通过匹配的特征点对计算变换矩阵，最终实现仿射变换的图像配准拼接。

2 实验与分析

为验证本文的红外风机叶片拼接方法的有效性，设置多组实验进行比较。分别使用最大类间方差（Ostu）阈值分割法、迭代阈值分割法（Iterative Thresholding，IT）、传统CV分割算法进行背景去除，结合Harris算法通过暴力匹配与RANSAC算法筛选出有效匹配点对，最后通过单应性矩阵求出拼接图像的映射关系，与本文算法进行比较。

算法仿真运行设备为笔记本电脑，CPU为AMD Ryzen 7，频率为2.90GHz，内存16GB，操作系统为64位Win11系统，使用的MATLAB版本为R2018b。实验数据为实验室在灵宝等地风电场，通过大疆M300挂载禅思光学载荷拍摄。图像分辨率为640×512像素，部分样本图像如图12所示。

图12 拼接使用的部分样本数据

为进一步量化拼接效果，使用均方根误差考察接缝处顺滑程度。均方根误差定义如下：

式中：(,)表示接缝处左侧图像灰度值；(＋1,)为接缝右侧图像灰度值；为图像高度位置信息；为叶片上接缝总高度。当RMSE值越小，说明接缝左右两侧梯度差异越小，拼接效果越理想。表1展示各算法的RMSE值，其中，加粗的数值为各组RMSE最优值。

表1 4种算法RMSE值

结合图13与表1结果，整体上，后三组图像背景较为干净，对比的算法中RMSE值明显小于前三组。表明传统分割算法更适用于背景较为纯净的数据样本；具体来看，第1、2、3组图片背景包含一部分复杂的地面背景，Ostu与IT未能准确分割出叶片部分，特征匹配过度参考了冗余的背景信息，导致拼接失败；传统的基于CV模型的分割方法更好地估计了叶片掩膜，但叶片与背景DN值接近的地方，如中下部分的道路，小部分受到干扰，影响了单应性矩阵精度，仅第1组完成了拼接，但接缝处出现错位；第4、5、6组图片背景较为纯净但不均匀，由于下半部分更多接收地物反射的红外波段光线，因此从上到下DN值呈现由暗到亮的变化；此时，Ostu与IT算法部分地将天空错误分割出来，但特征点主要集中于叶片上，因此基本完成拼接；传统的CV算法同样在叶片与背景DN值相近的地方错误地将天空分割出来，产生了一定误差；对比前三组与后三组，本文算法基本不受背景影响，均表现出较好的拼接效果，RMSE值最小。

结合表2与图13来看，首先Ostu与IT算法的时间消耗明显较低，耗时在3s左右。但由于其稳定性过差，无法完成对整根叶片的拼接，因此耗时不具有较大意义。CV与本文改进算法时间消耗均在10s左右，差距十分接近；虽然本文引入了形态学运算在分割阶段增加了一定的计算量，但获得分离更干净的目标与背景后，局部特征点的提取、匹配与筛选减少了时间消耗，因此整体上耗时相近，同时拼接效果上有了显著提高。

Group 1 Group 2 Group 3 Group 4 Group 5 Group 6 (a) Ostu-Harris(b) IT-Harris(c) CV-Harris(d) Ours

结合图14的整体拼接图像，由于叶片表面比较干净，特征点较少，理论上拼接图像帧间差越小，图像重合度越大，特征点重合越高，拼接精度也越高。我们通过实验发现，对于长度为65m的叶片，当无人机距叶片15m时，需要均匀采样至少30张红外图像，才能保证前后两张图像具有足够重合度实现拼接。因此，对巡检时无人机飞行速率可以给出具体指标参考：

式中：max为保证拼接效果下无人机最高飞行速度，为叶片长度，本文中对应为65m；为最小采样时间间隔，即两张图像间拼接算法耗时，本文中最小采样间隔为11s；为完整叶片拼接所需的最小图像数目，需要通过实验仿真得到，本文为30张；将上述指标代入式(11)，得出本文无人机巡检飞行速率最大为0.2m/s；由于本算法在笔记本上运行，效率较低，可以通过移植至嵌入式平台或计算效率更高的设备端来降低算法时间消耗，提高无人机巡检效率。

表2 4种算法时间消耗

图14 风力发电机叶片图像拼接整体效果

3 结论

本文针对无人机风力巡检系统中，红外图像过于局部与碎片化的现状，提出一种基于形态学改进CV分割与局部特征匹配的红外风机叶片图像拼接算法，通过形态学改进了CV分割的形状，将误分离出来的像素毛刺、小桥、孤岛有效去除掉，形成较为精确的掩膜，同时防止边缘锯齿对特征点检测匹配的影响，通过形态学腐蚀生成了新的掩膜对特征点进行非边界约束，使得特征匹配更加精确，从而得到更为准确的单应性矩阵估计，完成拼接。通过多组实验表明，本文的算法对红外图像的拼接精度有明显提高，在不同的测试场景下显示出较强鲁棒性，同时本文对无人机巡检时飞行速率进行了讨论，给出了飞行速率计算方式，论述了影响巡检飞行速率的关键因素，未来在提高算法运行效率及算法移植方向仍需进一步的研究。

[1] 李禹桥. 基于旋翼无人机的风电叶片自主巡检系统研究[D]. 徐州: 中国矿业大学, 2021.

LI Yuqiao. Research on Wind Turbine Blade Autonomous Inspection System based on Rotorcraft UAV[D]. Xuzhou: China University of Mining and Technology, 2021.

[2] 张明辉. 风力发电机故障检修与处理[J]. 科技创新导报, 2019, 16(10): 132-133.

ZHANG Minghui. Wind turbine fault repair and treatment[J]., 2019, 16(10): 132-133.

[3] 王蔚, 刘丹. 我国风电市场：前景一路看好[N]. 经济参考报, [2006-06-15].

WANG Wei, LIU Dan. China's wind power market: prospects all the way bright[N]., [2006-06-15].

[4] 王浩, 闫号, 叶海瑞, 等. 基于无人机的光伏电站智能巡检[J]. 红外技术, 2022, 44(5): 537-542.

WANG Hao, YAN Hao, YE Hairui, et al. Intelligent patrol inspection of photovoltaic power station based on UAVs[J]., 2022, 44(5): 537-542.

[5] 宫妍, 位冲冲. 图像拼接关键技术研究综述[J]. 电脑知识与技术, 2021, 17(30): 106-108. Doi:10.14004/j.cnki.ckt.2021.2895.

GONG Yan, WEI Chongchong. Review on key techniques of image stitching[J]., 2021, 17(30): 106-108. Doi:10.14004/j.cnki.ckt.2021.2895.

[6] CUI Z, QI W, LIU Y. A fast image template matching algo-rithm based on normalized cross correlation[J]., 2020, 1693: 012163.

[7] 马宝琰, 汤磊, 赵晶, 等. 风电叶片图像直线特征检测与拼接方法[J]. 哈尔滨理工大学学报, 2020, 25(5): 83-92. Doi: 10.15938/j.jhust. 2020.05.012.

MA Baoyan, TANG Lei, ZHAO Jing, et al. Straight line features detection and mosaic of wind power blades image[J]., 2020, 25(5): 83-92. Doi: 10.15938/ j.jhust.2020.05.012.

[8] 卢泉, 杨振华, 黄粒峰. 改进最佳缝合线的红外图像拼接方法[J]. 红外技术, 2022, 44(6): 580-586.

LU Quan, YANG Zhenhua, HUANG Lifeng. Infrared image mosaic method for improving the best seam-line[J]., 2022, 44(6): 580-586.

[9] 傅子秋, 张晓龙, 余成, 等. 多场景下基于快速相机标定的柱面图像拼接方法[J]. 光电工程, 2020, 47(4): 74-86.

FU Ziqiu, ZHANG Xiaolong, YU Cheng, et al. Cylindrical image mosaic method based on fast camera calibration in multi-scene[J]., 2020, 47(4): 74-86.

[10] 何赟泽, 张帆, 刘昊, 等.风机叶片无人机红外热图像拼接方法[J]. 电子测量与仪器学报, 2022, 36(7): 44-53. Doi: 10.13382/j.jemi. B2105058.

HE Yunze, ZHANG Fan, LIU Hao, et al. Infrared image stitch method of wind turbine blade based on UAV[J]., 2022, 36(7): 44-53. Doi: 10.13382/j.jemi.B2105058.

[11] 方喜波. 光电侦察吊舱对海广域搜索方法[J]. 红外技术, 2021, 43(11): 1055-1060.

FANG Xibo. Searching method of the wide area of optical recon pod for sea targets[J]., 2021, 43(11): 1055-1060.

[12] Osher S, Sethian J A. Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations[J]., 1988, 79(1): 12-49.

[13] Ghaili A M, Mashohor S, Ramli A R. Vertical-edge-based car-license-plate detection method[J]., 2013, 62(1): 26-38.

[14] 张见双, 张红民, 罗永涛, 等. 一种改进的Harris角点检测的图像配准方法[J]. 激光与红外, 2017, 47(2): 230-233.

ZHANG Jianshuang, ZHANG Hongmin, LUO Yongtao, et al. Image registration method based on improved Harris corner detection algorithm[J]., 2017, 47(2): 230-233.

Infrared Blade Image Stitching Algorithm for Wind Farm UAV Inspection

ZHOU Dengke1，GUOXingchen2，SHIKaite1，TANGPeng3，ZHENG Kaiyuan1，MA Pengge2

(1. China Three Gorges Corporation Research Institute, Beijing 100038, China; 2. Zhengzhou University of Aeronautics, Zhengzhou 450015, China)

Aiming at more redundant background information and low stitching accuracy of the infrared images of the blades taken by UAV (Unmanned Aerial Vehicle), In this study, we proposed a stitching algorithm for infrared wind turbine blade images combining the Chan-Vese model and morphology. First, we subjected the image to median filtering and noise reduction, and a morphological operation improved a level-set algorithm based on the Chan-Vese model to generate the mask of the expression subject. We extracted Harris feature points by removing redundant backgrounds based on the mask. We performed morphological etching on the mask to suppress the pseudo-feature points on the boundary-jagged pixels. We used violent matching and the RANSAC algorithm to screen out effective matching point pairs and calculate the homography matrix to realize matching and splicing. Compared with the Harris stitching algorithm under traditional image segmentation, the stitching accuracy of the improved algorithm significantly improved, and it showed strong robustness in different test scenarios.

wind turbine blades, infrared image stitching, level set, morphological operation, Harris feature point

TP391

A

1001-8891(2023)11-1161-08

2022-09-26；

2022-12-13.

周登科（1995-），男，四川人，初级工程师，硕士研究生，从事图像处理工作。E-mail：zhou_dengke@ctg.com.cn。

郭星辰（1997-），男，河南郑州人，硕士研究生，从事图像处理研究。E-mail：478973623@qq.com。

国家自然科学基金民航联合基金重点项目（U1833203）；中国长江三峡集团有限公司企业科研项目“海上风电无人机光电巡检系统技术研究及应用示范”（202003035）；河南省科技攻关（202102210330）；河南省科技攻关（222102210136）；郑州航空工业管理学院研究生教育创新计划基金（2021CX48）。