基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接

回立川，李万禹，陈艺琳

（辽宁工程技术大学 电气与控制工程学院，辽宁 葫芦岛 125105）（∗通信作者电子邮箱670252229@qq.com）

基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接

回立川，李万禹*，陈艺琳

（辽宁工程技术大学 电气与控制工程学院，辽宁 葫芦岛 125105）（∗通信作者电子邮箱670252229@qq.com）

电力巡线图像纹理复杂且具有视差变化，针对传统算法获取成对匹配点数量较少、配准精度较低，严重影响电力巡线无人机图像拼接效果等问题，提出了一种基于改进OANet的图像拼接算法。首先，借助加速“风”（AKAZE）算法对待拼接电力巡线图像进行粗匹配；其次，对OANet中Order-Aware模块添加挤压和激励网络（SENet），从而增强网络对局部和全局上下文信息的抓取能力，得到更精确的成对匹配点；然后，通过MPA算法配准待拼接图像；最后，借助内容压缩感知算法计算重叠区域的最佳缝合线以完成图像拼接。改进OANet相较原OANet的正确匹配点数量增加了10%左右，耗时平均增加了10 ms；与APAP算法、AANAP算法、MPA算法等配准拼接算法相比，所提算法的拼接质量最好，其待拼接图像的重叠区域的均方根误差为0，非重叠区域未发生畸变。实验结果表明，所提算法可快速、稳定地拼接电力巡线航拍图像。

电力巡线；图像拼接；OANet；挤压和激励网络；MPA算法；内容压缩感知算法

0 引言

为了保障输电线路的正常运行，需要定期对输电线路巡检。输电线路走廊范围较大且距离长，线路的地形往往十分复杂，可能跨越江河或者山岭等，这些区域借助交通工具行驶是十分不便的。随着无人机技术的发展，借助无人机完成电力巡线已成为一个热门研究方向［1-3］。限于无人机机载相机的画幅，需要多次拍摄拼接合成才能得到完整的输电线路走廊局部图像。

电力巡线无人机输电线路走廊地图制作主要分为两个环节：特征匹配和图像配准融合。特征匹配主要通过局部特征点匹配算法完成，成对特征点的质量和数量直接影响到形变矩阵配准的精度；图像配准融合通过成对特征点的空间位置关系得到待拼接图像的位置信息，形变拼接图像完成配准，并融合重叠区域图像。

成对特征点的质量和数量直接影响电力线走廊地图质量的好坏，为了得到较好质量的成对匹配点完成图像拼接，有研究者提出了一种基于改进尺度不变特征变换（Scale Invariant Feature Transform， SIFT）算法［4-5］的柱面全景拼接算法，先使用改进SIFT算法完成图像粗匹配，然后借助随机采样一致性（RANdom SAmple Consensus， RANSAC）算法筛选特征点，最后根据点与点的关系计算空间变换矩阵完成图像拼接。SIFT算法借助高斯函数构建尺度空间，会导致尺度图像的角与边缘信息丢失，造成匹配算法的鲁棒性下降。为了进一步提高匹配点的质量，有研究者提出了一种基于“风”算法（KAZE，“风”的日文发音）［6-7］的无人机图像拼接方法，KAZE算法使用非线性滤波构建尺度空间，有助于提高成对特征点的质量。SIFT和KAZE算法的描述符均为浮点型，需要使用欧氏距离衡量不同描述符的相似性，耗时较长，图像拼接算法效率较低。有研究者提出了基于加速“风”（Accelerated KAZE， AKAZE）算法［8-9］的图像拼接算法，AKAZE算法匹配点耗时较少、鲁棒性较好，使得图像配准精度进一步提高。上述几种方法均通过RANSAC算法筛选特征点，该算法主要通过迭代计算得到最佳的参数模型，但易把正确匹配点误判为外点，致使成对特征点数量减少。有研究者提出了基于渐进一致采样算法［10-11］的无人机航拍图像拼接算法，渐进一致采样算法筛选内点时根据匹配结果由高到低的得分进行排序，有助于更好更快地得到参数模型。有研究者提出了基于网格运动统计（Grid-based Motion Statistics， GMS）算法［12-13］的最佳缝合线的密集重复结构图像快速拼接方法，该算法首先使用ORB（Oriented FAST（Features from Accelerated Segment Test） and Rotated BRIEF（Binary Robust Independent Elementary Features））算法［14］匹配特征点，然后借助运动网格算法筛选特征点，最后采用动态规划计算最佳缝合线完成图像拼接。有研究者提出了基于向量场一致性（Vector Field Consistency， VFC）算法［15-16］的图像拼接方法，先对传统SIFT算法改进，然后借助向量场一致性筛选内点，最后计算单应性矩阵完成图像拼接。

综上所述，成对匹配点质量和数量直接影响待拼接图像配准精度，而常用特征点筛选算法鲁棒性较差，保留内点数较少，为了得到更好的电力线走廊地图，本文提出了一种基于改进OANet（Order-Aware Network）［17］的航拍图像拼接算法。首先，借助AKAZE算法完成图像粗匹配；然后，对OANet添加挤压和激励网络（Squeeze-and-Excitation Network， SENet）［18］筛选正确匹配点；最后，借助MPA（Mesh-based Photometric Alignment）算法［19］配准待拼接图像，并使用内容压缩感知算法［20］对两张待拼接图像重叠区域分别保留重要度较高和较低区域，以此为最佳缝合线完成图像拼接。

1 相关工作

1.1 OANet内点筛选网络

OANet会对每一对匹配点的匹配精度添加权重值，利用这个权重值计算两张待匹配图像形变关系。有若干成对具有重叠区域的训练图像，其中成对匹配点的关系为：

或者可用几何损失函数表示为：

OANet主要包含四大模块，分别为：PointCN（Point Context Normalization）网络模块、可微池化（Differentiable Pooling， DiffPool）网络模块、Order-Aware滤波器模块、Order-Aware Differentiable Unpooling网络模块，如图1所示。

图1 OANet结构Fig. 1 OANet structure

1）PointCN网络模块。PointCN网络是在点云网络（PointNet）的基础上改进得到的，PointNet经证明可拟合任意输入数据集合，为了更好得到图像点在上下文的信息，PointCN提出了上下文归一化层（Context Normalization）用于提取图像的全局特征，引入共同感知机（Shared Perceptron）可更快速有效地提取，如图2所示。

2）DiffPool网络模块。PointCN尽管可以捕捉图像的全局信息，但是局部点信息容易丢失，因为缺少点与点之间的相互作用，因此在网络中添加DiffPool网络。DiffPool网络可以将无序的节点信息聚类采样，构建成M个类。DiffPool网络具有排列不变性，表明不同序列的数据输入都可聚类成一种可学习的规范顺序。

3）Order-Aware滤波器模块，如图3所示。经过DiffPool网络后，匹配点被聚类且是空间有序的，直接使用PointCN网络处理，并不能很好地利用空间顺序信息，因为它忽略了点与点的空间位置关系，同时也不能很好地对全局上下文信息提取。

图2 PointCN网络Fig. 2 PointCN network

图3 Order-Aware滤波器模块Fig. 3 Order-Aware filter module

为了更好地提取点空间和全局上下文信息，OANet借助空间相关性层（Spatial Correlation）捕捉全局上下文信息。在多层感知机前后，添加转换层，将通道维度转换为空间维度，使得共享感知机在空间维度遍历点与点的联系，从而更加高效地捕捉全局上下文信息。在PointCN层是对通道维度处理，空间相关性层是对空间维度处理，加入注意力层（Transpose）可快速提取所需信息，故这两个层是正交互补的。

4）Order-Aware Differentiable Unpooling网络模块。DiffPool网络被用来预测整个图网络的标签值，但不适用于稀疏匹配问题。因为需要对所有的成对匹配点添加权重，所以需要在DiffPool网络后添加上采样网络。在经过Order-Aware滤波器模块后，点与点之间丢失了空间顺序，所以单纯地对DiffPool网络反操作不能恢复训练数据的空间顺序，故使用Order-Aware Differentiable Unpooling网络模块输出的权重参数一一对应。

1.2 MPA算法

图4 网格形变对光流的校准Fig. 4 Calibration of optical flow by mesh deformation

2 本文算法

基于局部特征点的图像拼接算法主要分为三个部分：特征粗匹配、内点筛选和图像配准融合。本文先借助AKAZE算法完成特征粗匹配；其次对OANet的Order-Aware滤波器模块添加SENet，筛选较好的成对匹配点；然后借助MPA算法完成图像配准，并通过内容压缩感知算法计算最佳缝合线，完成图像拼接，具体流程如图5所示。

AKAZE算法主要分为三个部分：非线性尺度空间、特征点提取和MLDB（Modified-Local Difference Binary）描述符构建，具体参见文献［8］。

2.1 改进OANet内点筛选网络

图1中OANet共有6层Order-Aware滤波器模块，Order-Aware网络结构由两个点卷积网络和一个空间相关性网络组成，点卷积网络主要对通道维度处理数据，空间相关性网络主要对空间维度处理数据。训练数据较多，势必有很多冗余信息，为了更好地学习样本特征点的上下文信息，本文提出在Order-Aware网络中引入SENet，具体如图6所示。

图5 本文算法流程Fig. 5 Flow chart of proposed algorithm

图6 具有SENet的Order-Aware网络Fig. 6 Order-Aware network with SENet

SENet主要分为挤压（Squeeze）和激励（Excitation）操作两大阶段。挤压主要是将一个通道上所有空间特征编码为全局特征，可通过全局平均池化层得到，表示为：

把原OANet中的Order-Aware结构替换成本文所提的具有SENet的Order-Aware结构，可有效增加网络的拟合能力，得到更多稳定的正确匹配点。

2.2 航拍图像计算最佳缝合线拼接

成对特征点送入改进OANet网络后，可得到成对正确匹配点，根据成对匹配点分布可计算得到两张航拍图像的单应性矩阵，把单应性矩阵代入MPA算法中，通过最大期望值算法得到最优光流网格形变参数，完成相邻航拍图像配准。对重叠区域较为复杂的航拍图像，若对重叠区域融合，势必会有重影；为了使重叠区域更加美观，提出借助内容压缩感知算法计算最佳缝合线完成图像拼接。

3 实验与结果分析

本文实验主要分为两个部分，验证AKAZE+改进OANet算法对电力巡线航拍图像的稳定性和所提算法对电力线图像的拼接效果。为了得到更好的改进OANet模型，本文借助University1652-Baseline航拍数据集［21］训练OANet和改进OANet。

3.1 实验过程

图7为电力训练无人机在不同高度拍摄的输电线路走廊图片，图像尺寸均为。实验分为两部分：第一部分，借助RANSAC算法、VFC算法、GMS算法、OANet算法与本文所提改进OANet算法对图7进行匹配实验，验证内点筛选数量和算法耗时；第二部分，借助APAP（As-Projective-As-Possible）算法［22］、AANAP（Adaptive As-Natural-As-Possible）算法［23］、MPA算法与本文算法进行对比实验，判断图像拼接质量。

3.2 结果分析

本文实验主要分为特征匹配部分和图像拼接部分两部分，从而验证特征匹配过程的稳定性和图像拼接质量。

1）特征匹配部分：先借助AKAZE算法对待拼接输电线路航拍图像完成粗匹配，然后分别通过VFC、RANSAC、GMS、OANet等算法筛选内点，依次与本文所提改进OANet算法对比。

2）图像拼接部分：APAP、MPA、AANAP等算法使用SIFT算法完成图像粗匹配，并通过RANSAC算法筛选匹配点，本文算法按照图5的流程完成。

图7 实验图像示例Fig. 7 Experimental image examples

3.2.1 内点筛选效果评价

使用AKAZE算法与VFC、GMS、RANSAC、OANet、改进OANet算法等内点筛选算法对图7的实验图像中匹配点进行统计，如表1所示。由表1可知，所提改进OANet对电力巡线航拍图像内点筛选效果最好，每一组图像均保留了大量成对匹配点，相较原OANet算法匹配点数量增加了10%左右，由此表明所提算法的适应性强、鲁棒性好；VFC内点筛选算法的稳定性最差，对图7（b）、（c）组中图像保留内点数为0；RANSAC算法对7（a）图像仅有9个成对匹配点，表明该算法适应性欠佳；GMS算法对图7（a）图像得到内点数为0，其他组得到匹配点数也较少，表明其稳定性不及改进OANet算法。

表1 不同算法的匹配点数量对比Tab. 1 Comparison of number of matching points of different algorithms

航拍无人机高空拍摄易受到空气对流影响，导致相邻航拍图像的角度和仿射性发生变化，为了验证改进OANet算法是否具有较好抗角度不变性和抗仿射不变性，改变图7（a）中目标匹配图像的角度和仿射。

对图7（a）中目标图像添加15°和30°的角度旋转，然后进行图像匹配实验，以检测特征点筛选算法的旋转不变性，数据结果如表2所示。VFC算法得到的匹配点数最多，但正确点数较少，平均匹配正确率仅为28.39%；RANSAC和GMS算法得到的匹配点较少，在15°变换时，GMS算法得到的匹配点数为0；本文所提改进OANet算法得到的匹配点数多于OANet算法，正确匹配点数也较多，匹配正确率提高了2.86个百分点。表2结果表明，所提改进OANet算法具有较好的旋转不变性。

对图7（a）中的目标图像添加不同程度的仿射变化，以检测算法的抗仿射不变性，匹配实验数据结果如表3所示。第一组实验中，VFC算法得到的匹配点数最多，但匹配正确率仅为37.37%，第二组匹配点数为0，表明VFC算法的鲁棒性较差。RANSAC和GMS算法得到的匹配点数较少，算法适应性较差。本文所提改进OANet算法得到的匹配点数比原OANet算法多，匹配正确率提高了0.6个百分点，表明所提算法具有较强的抗仿射不变性。

表2 不同算法的角度变化匹配数据对比Tab. 2 Angle change matching data comparison of different algorithms

表3 不同算法的仿射变化匹配数据对比Tab. 3 Affine change matching data comparison of different algorithms

图8为AKAZE+改进OANet算法特征匹配效果，线条连接同一对匹配点。

为了更好地衡量不同算法的效率，AKAZE、VFC、RANSAC、GMS、OANet和改进OANet算法均在CPU上运行，不同算法的耗时如表4所示。

表4 不同算法的匹配耗时对比 单位： msTab. 4 Matching time consumption comparison of different algorithms unit： ms

由表4可知，GMS内点筛选算法耗时最少，其次是RANSAC算法、VFC算法以及RANSAC算法，本文所提改进OANet算法的内点筛选速度最慢。

GMS、RANSAC、VFC算法的内点筛选效率均较快，但鲁棒性较差，VFC算法对图7（b）、（c）的内点保有量为0，GMS算法对图7的内点保有量也较少。本文提出的改进OANet算法，虽效率较低，但鲁棒性较好，能得到大量优质的成对特征点。

3.2.2 拼接效果评价

APAP算法、AANAP算法、MPA算法和本文算法对图7（b）的拼接效果如图9所示，对电力塔、建筑物和公路区域进行了局部放大。

图8 AKAZE+改进OANet算法匹配效果（线条连接同一对匹配点）Fig. 8 AKAZE+improved OANet algorithm matching effect （lines connecting same pairs of matching points）

图9 不同算法对图7（b）的拼接局部放大图比较Fig. 9 Partial enlarged stitched images comparison of different algorithms on fig. 7（b）

图9（a）为APAP算法拼接效果，APAP算法借助网格形变配准对重叠区域拼接效果较好，无明显重影，但未对非重叠区域限制，造成了电力塔绝缘子出现扭曲。AANAP算法先借助APAP算法局部调整重叠区域，然后再借助全局最优相似变换矩阵限定非重叠区域，并在边缘处设定锚点，防止出现畸变。图9（b）中，建筑物区域未出现重影，电力塔也未出现失真，但图像边缘区域出现严重畸变，MPA算法把图像配准转化为最小化光流配准能量函数，借助最大期望值算法得到最优配准参数。图9（c）中，非重叠区电力塔未出现失真，重叠区域内建筑物和电力塔绝缘子的边缘区域纹理较为复杂，故有轻微重影。本文算法在MPA算法基础上，提出了对重叠区域通过内容压缩感知计算最佳缝合线，对两张待拼接图像重叠区域分别保留重要度较低和较高区域，拼接得到完整图像。图9（d）中，非重叠区域未出现畸变，重叠区域内建筑物和公路拼接效果很好，未出现重影，拼接效果很符合原始场景。

图10为本文算法对图7（a）、（c）和（d）的拼接效果图，重叠区域未出现重影，非重叠区域没有失真，拼接图像很好地复原了原始场景。

本文通过两张待拼接图像重叠区域的均方根误差（Root Mean Square Error， RMSE）判断不同的算法拼接质量，均方根误差的计算式为：

图10 本文算法对图7（a）、（c）和（d）的拼接效果Fig. 10 Stitching effects of proposed algorithm on fig. 7（a）、（c） and （d）

表5为APAP、AANAP、MPA和本文算法对图7电力线航拍图像得到的均方根误差。由表5可知，AANAP算法的均方根值误差最大，APAP算法次之。由于APAP算法和AANAP算法配准依靠成对特征点的数量和质量，若是成对特征点数量较少或者存在错误匹配点，会严重影响配准精度；MPA算法先利用成对特征点计算单应性矩阵，然后把图像配准转化为光流最优化问题，对成对特征点要求较低，因此，成对特征点中存在少量错误匹配点，不会对MPA算法配准造成影响。由于本文借助内容压缩感知算法计算重叠区域最佳缝合线，对两张待拼接图像分别保留重要度较高和较低区域拼接，故配准均方根误差均为0。

表5 不同算法的配准均方根误差对比Tab. 5 Root mean square error comparison of registration of different algorithms

表6为不同算法的配准耗时（未统计匹配算法和特征点筛选算法耗时）。由表6可知，APAP算法配准最快，AANAP算法最慢；本文所提算法在使用MPA配准后，需借助内容压缩感知算法计算最佳缝合线，故拼接时间多于MPA算法。

综上所述，本文算法对电力线图像的拼接效果最好，可最大限度地还原真实电力线走廊场景，待拼接图像的重叠区域均方根误差最小，配准精度最高，拼接效果较好。所提算法可快速有效地构建输电线路走廊地图，广泛应用于无人机电力巡线。

表6 不同算法的配准耗时对比 单位：sTab. 6 Registration time consumption comparison of different algorithms unit：s

4 结语

本文提出了一种基于改进OANet的电力巡线无人机航拍图像拼接算法。首先，使用AKAZE算法完成图像粗匹配；然后，对OANet添加SENet，更好地拟合了网络模型，得到了更多稳定成对匹配点；最后，借助MPA算法配准电力巡线图像，并对重叠区域计算最佳缝合线完成图像拼接。实验结果表明，本文算法可保留大量匹配内点，拼接效果较好还原了现实场景。在接下来的研究中，将着重提高特征粗匹配鲁棒性，使用深度学习方法完成图像匹配。

[1] 郭一江，王卫红，郑洁，等.基于无人机巡线数据的电力走廊可视化研究［J］.西南科技大学学报，2020，35（3）：92-96.（GUO Y J， WANG W H，ZHENG J， et al. Research on power corridor visualization based on UAV line inspection data ［J］. Journal of Southwest University of Science and Technology， 2020， 35（3）： 92-96.）

[2] 郑贵林，张丽.自旋翼飞机电力巡线技术研究与应用［J］.中国电力，2014，47（7）：26-31.（ZHENG G L， ZHANG L. Research and application of auto-gyro power line inspection technology ［J］. Electric Power， 2014， 47（7）： 26-31.）

[3] 罗昊，苏盛，杨浩，等.基于FPGA的电力巡线无人机硬件加密通信方法［J］.中国电力，2019，52（7）：11-16.（LUO H， SU S， YANG H， et al. FPGA-based hardware encryption of power line patrol drones ［J］. Electric Power，2019， 52（7）： 11-16.）

[4] 朱庆辉，尚媛园，邵珠宏，等.局部特征及视觉一致性的柱面全景拼接算法［J］.中国图象图形学报，2016，21（11）：1523-1529.（ZHU Q H， SHANG Y Y，SHAO Z H， et al. Cylindrical panorama stitching algorithm based on local features and vision consistence ［J］. Journal of Image and Graphics， 2016， 21（11）： 1523-1529.）

[5] LOWE D G. Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[6] 韩敏，闫阔，秦国帅.基于改进KAZE的无人机航拍图像拼接算法［J］.自动化学报，2019，45（2）：305-314.（HAN M， YAN K， QIN G S. A mosaic algorithm for UAV aerial image with improved KAZE ［J］. Acta Automatica Sinica， 2019， 45（2）： 305-314.）

[7] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features ［C］// Proceedings of the 2012 European Conference Computer Vision， LNCS 7577. Berlin： Springer， 2012： 214-227.

[8] 闫璠，张莹，高赢，等.基于AKAZE算法的图像拼接研究［J］.电子测量与仪器学报，2017，31（1）：36-44.（YAN F， ZHANG Y， GAO Y， et al. Research of image stitching based on AKAZE algorithm ［J］. Journal of Electronic Measurement and Instrumentation， 2017， 31（1）： 36-44.）

[9] ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces ［C］// Proceedings of the 2013 British Machine Vision Conference. Durham： BMVA Press， 2013：Article No.13.

[10] 李振宇，田源，陈方杰，等.基于改进ORB和PROSAC的无人机航拍图像拼接算法［J］.激光与光电子学进展，2019，56（23）：83-91.（LI Z Y， TIAN Y， CHEN F J，et al. Aerial image stitching algorithm for unmanned aerial vehicles based on improved ORB and PROSAC ［J］. Laser and Optoelectronics Progress， 2019， 56（23）： 83-91.））

[11] CHUM O， MATAS J. Matching with PROSAC — progressive sample consensus ［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 220-226.

[12] 牟琦，唐洋，李占利，等.基于网格运动统计算法和最佳缝合线的密集重复结构图像快速拼接方法［J］.计算机应用，2020，40（1）：239-244.（MU Q， TANG Y， LI Z L， et al. Fast stitching method for dense repetitive structure images based on grid-based motion statistics algorithm and optimal seam ［J］. Journal of Computer Applications， 2020， 40（1）： 239-244.）

[13] BIAN J W， LIN W Y， MATSUSHITA Y， et al. GMS： grid-based motion statistics for fast，ultra-robust feature correspondence ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2828-2837.

[14] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2567-2571.

[15] 张进，赵相伟，栾吉山，等.改进FAST和对立颜色特征的向量场一致性匹配［J］.测绘通报，2020（11）：50-54.（ZHANG J， ZHAO X W， LUAN J S， et al. The vector field consistent matching of FAST and opposite color features is improved ［J］. Bulletin of Surveying and Mapping， 2020（11）： 50-54.）

[16] MA J Y， ZHAO J， TIAN J W， et al. Robust point matching via vector field consensus ［J］. IEEE Transactions on Image Processing， 2014， 23（4）： 1706-1721.

[17] ZHANG J H， SUN D W， LUO Z X， et al. Learning two-view correspondences and geometry using Order-Aware Network ［EB/OL］. ［2020-02-10］. https：//arxiv.org/pdf/1908.04964.pdf.

[18] HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.

[19] LIN K M， JIANG N J， LIU S C， et al. Direct photometric alignment by mesh deformation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2701-2709.

[20] 胡浩慧，倪蓉蓉，赵耀.图像内容感知缩放的检测方法研究［J］.软件学报，2018，29（4）：1002-1016.（HU H H， NI R R， ZHAO Y. Research on detection method of content-aware image resizing ［J］. Journal of Software， 2018， 29（4）： 1002-1016.）

[21] ZHENG Z D， WEI Y C， YANG Y. University-1652： a multi-view multi-source benchmark for drone-based geo-localization ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 1395-1403.

[22] ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT ［C］// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2013： 2339-2346.

[23] LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163.

Power line inspection aerial image stitching based on Order-Aware network internal point screening network

HUI Lichuan， LI Wanyu*， CHEN Yilin

（Faculty of Electrical and Control Engineering，Liaoning Technical University，Huludao Liaoning125105，China）

The texture of power line inspection images with parallax variation is complex， the number of paired matching points obtained by traditional algorithms is less and the registration accuracy is low， which seriously affect the stitching effect of power line inspection unmanned aerial vehicle image. In order to solve the problems， a new image stitching method based on improved Order-Aware Network （OANet） was proposed. Firstly， the Accelerated KAZE （AKAZE） algorithm was adopted to match the power line inspection images to be stitched roughly. Secondly， the Squeeze-and-Excitation Networks （SENet） was added to the Order-Aware module in OANet， which helped to enhance the grasping ability of the network for both the local and global context information， and more accurate paired matching points were obtained. Then，the Mesh-based Photometric Alignment （MPA） algorithm was used to register the images to be stitched. Finally， the optimal suture line in the overlapping area was calculated by the content compressed sensing algorithm to complete image stitching. The number of correct matching points of the improved OANet network is about 10% higher than that of the original OANet network with time consumption increased by 10 ms on average. Compared with the registration stitching algorithms such as As-Projective-As-Possible （APAP） algorithm， Adaptive As-Natural-As-Possible （AANAP） algorithm and MPA algorithm， the proposed algorithm has the highest stitching quality with the root mean square error of the overlapping area of the images to be stitched is 0 and no distortion in the non-overlapping area. Experimental results show that， the proposed algorithm can stitch the aerial images of power line inspection quickly and stably.

power line; inspection image stitching; Order-Aware Network (OANet); Squeeze-and-Excitation Network (SENet); Mesh-based Photometric Alignment (MPA) algorithm; content compressed sensing algorithm

TP391

A

1001-9081（2022）05-1583-08

10.11772/j.issn.1001-9081.2021030493

2021⁃04⁃01；

2021⁃05⁃18；

2021⁃05⁃18。

辽宁省教育厅科学研究项目（LJ2017QL009）。

回立川（1980—），男，河北邢台人，副教授，博士，主要研究方向：电力系统运行监测； 李万禹（1993—），男，辽宁大连人，硕士研究生，主要研究方向：电力系统运行监测； 陈艺琳（1994—），女，河北阜城人，硕士研究生，主要研究方向：电力系统运行监测。

This work is partially supported by Scientific Research Project of Educational Department of Liaoning Province （LJ2017QL009）.

HUI Lichuan， born in 1980， Ph. D.， associate professor. His research interests include power system operation monitoring.

LI Wanyu， born in 1993， M. S. candidate. His research interests include power system operation monitoring.

CHEN Yilin， born in 1994， M. S. candidate. Her research interests include power system operation monitoring.