一种基于多尺度的无人机影像特征点提取方法

石斌斌 闵曹文

摘 要：为提高无人机影像特征点的提取质量与拼接精度，建立高斯金字塔实现多尺度变化进行粗差剔除，利用卷积神经网络（Convolutional Neural Network，CNN）提取影像特征点并通过最邻近值匹配特征点完成影像拼接，最后通过拼接一组无人机影像从粗差剔除率、匹配准确率、匹配时间3个方面来验证影像质量。验证结果表明，匹配点粗差剔除率提升了33.08%，匹配精度提升了12.17%，整体匹配效率有所提升，效果良好。

关键词：多尺度;卷积神经网络（CNN）;影像匹配拼接;匹配精度

中图分类号：TP751;P237 文献标识码：A 文章编号：1003-5168（2021）34-00-03

A Feature Point Extraction Method of UAV Image Based on Multi-Scale

SHI Binbin MIN Caowen

（Jiangxi V&T College of Communications， Nanchang Jiangxi 330000）

Abstract： In order to improve the extraction quality and stitching accuracy of UAV image feature points， this paper establishes a Gaussian pyramid to realize multi-scale change for gross error elimination， uses Convolution Neural Network （CNN） to extract image feature points， and completes image stitching by matching the feature points with the nearest values. Finally， a group of UAV images are stitched from gross error elimination rate， matching accuracy Match time to evaluate image quality. The verification results show that the gross error elimination rate of matching points is improved by 33.08%， the matching accuracy is improved by 12.17%， the matching efficiency is improved， and good results are obtained.

Keywords： multiscale;Convolutional Neural Network（CNN）;image matching and splicing;matching accuracy

无人机影像是快速、低成本地获取地理信息的重要手段之一，广泛应用于各个领域的信息提取和分析方面。与其他影像产品相比，无人机影像具有定位精度高、影像信息丰富等特点，在国土资源调查、土地权属调查中发挥着重要作用。实际应用中，无人机获取的影像图幅较小，很难满足后续工程生产需求，必须进行拼接处理。影像的拼接也是摄影测量生产中的重要环节，提升影像拼接的精度显得尤为重要[1-2]。

近年来，无人机影像拼接仍是研究热点之一。随机抽样一致算法（Random Sample Consensus，RANSAC）对影像的粗差实现了大量删减以提升影像匹配精度，但可能导致原始影像失真。尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）空间尺度变化，首先构建尺度空间并检测极值点，后检测特征点主方向删除离散点。该方法的关键在于如何准确确定特征点主方向。研究表明，结合矢量数据，赋予主要地物更大的拼接權值，提高了算法速度，但对矢量数据现势性要求较高;利用图像相似性（位置、边缘）、位置约束、注意力模型，可以生成差异矩阵和动态搜索矩阵，但搜索量大且动态搜索准确度不高。

1 基于多尺度的卷积神经网络匹配特征点

通过构建尺度金字塔，利用卷积神经网络（Convolutional Neural Network，CNN）提取影像特征点，最后通过最临近值法完成影像匹配。匹配流程如图1

所示。

1.1 尺度金字塔

利用高斯金字塔对影像进行分解。利用低通滤波和下采样得到高斯金字塔第一层，同样再对第一层影像进行滤波和采样处理得到第二层，并以此类推。设第i层影像为Ti，则有：

利用不同的高斯差分核对影像完成滤波处理，降低噪声与高斯函数G对图像T的模糊函数为：

1.2 基于CNN的网络描述

CNN是对特征点识别与分类的一种深度学习方法，主要由卷积层（Convolution Layer）、池化层（Pooling Layer）、全连接层（Fully Connected Layer）以及激活函数组成。其原理是通过卷积核对图像卷积得到特征图（Feature Map），综合局部特征学习到更加抽象、层次更深的特征。特征学习的过程不易受到图像平移、旋转、缩放的影响，既能学习到图像的细节信息，也能准确地描述图像整体轮廓[3-5]。卷积特征点提取示意图如图2所示。

2 试验结果及分析

2.1 试验数据来源及参数

试验环境为Windows 10操作系统，16 GB内存、i7-CPU，Matlab 2020a。数据来源于大疆无人机拍摄的江西南昌某区域的影像数据，分辨率为5 472×3 648，相对航高150 m。CNN卷积模型由5个卷积层、1个采样层、1个ReLU激活函数构成，卷积核为16×16。

2.2 试验方法

2.2.1 生成高斯金字塔尺度影像。构建多尺度空间主要是利用高斯金字塔对影像进行分解[6-9]，利用低通滤波下采样得到不同尺度的影像。下采样得到的影像如图3所示。

采样后影像的新增像素值通过原有像素值进行加权平均确定。图3（b）由图3（a）进行低通滤波后得到，即图3（b）是图3（a）模糊化、降采样后的处理结果。因此，图3（b）所含有的细节信息比图3（a）所含有的细节信息要少。采样后的影像在满足准精度要求的同时，尽可能多地保存了原始像素级数据信息。

2.2.2 特征点提取与匹配。卷积神经网络提取特征点的关键是找到特征变化的分界点——特征的边缘。边缘两侧影像的灰度变化较大，针对灰度渐变区域构建二阶导数，识别出图像渐变区域。灰度变化较小或者均匀变化的区域，会得到一个接近0的值，而灰度变化大的区域则相反，从而识别出图片的边缘。将二阶导数运算结果与卷积核运算后，得到图像水平方向的二阶导数。当滑动卷积核对整个影像进行卷积时，水平邊缘会令二阶导数取得一个接近0的值，其余部分就会得到一个较大的值，从而突出了垂直边缘，最后将特征点位置重新映射回原图像，观察试验结果，如图4所示。

2.3 试验分析

SIFT算法是一种特征检测算子，通过对尺度空间极值点的检测，根据关键点的信息生成关于特征点的特征向量。对任一特征点，根据特征点所在尺度，选择以特征点为中心的16×16大小的区域，将此区域分成4×4个子区域，对每个子区域的8个方向梯度进行计算。子区域的8个方向梯度根据位置排序，构建出128维的特征向量，将特征向量长度归一化处理后就是图像SIFT局部特征描述子。

为了验证该影像拼接方法是有效的，将本方法与SIFT算法进行对比分析。两种匹配方法如图5所示，分别从粗差剔除率（计算影像均方根误差并剔除误差大于3倍均方根误差的点）按式（4）计算匹配精度、匹配时间评价效果。

式中：X '、Y '为参考影像坐标;x、y为匹配后坐标;n为匹配点数。

由表1得出以下结论。①本影像拼接方法比SIFT算法的影像特征点粗差剔除率提升了33.08%。②SIFT算法可匹配不同角度获取的影像，但其计算过程复杂、拼接效率低;本方法经过尺度变换与卷积神经网络提纯特征点操作后，能够有效剔除粗差，大幅减少特征点匹配时间。③对于相同影像，SIFT算法匹配的特征点为480个，匹配准确率为87.93%;本方法匹配特征点为165个，匹配准确率为93.10%，达到了亚像元的精度，提升了匹配精度。

3 结语

随着对影像匹配精度质量的要求提高，传统的无人机匹配方法逐渐显现出诸多不足。SIFT算法不能有效剔除匹配点中存在的错误，对于纹理单一区域构建的特征向量极少，对影像匹配产生了较大影响。通过卷积来改善特征点质量，在减少特征点匹配点的同时保证了配准精度，极大地改善了影像拼接效果，但全卷积神经网络模型高度复杂，需要研究人员有较强的调节参数能力。同时，一幅影像总的特征点数量关系到匹配精度的评价，是今后值得深入研究的内容。

参考文献：

[1]陈常晖.基于特征点的无人机图像拼接技术优化研究[J].兰州文理学院学报（自然科学版），2021（4）：59-64.

[2]张占平，武风英，包鹏章.改进SIFT的倾斜无人机影像匹配方法[J].地理空间信息，2021（8）：106-109.

[3]晏细兰，杨震伦.图像特征点提取与匹配的算法分析[J].科学技术创新，2021（22）：111-112.

[4]王俊超.图像特征点的快速检测与匹配方法研究[D].西安：西安科技大学，2019：1-64.

[5]刘健辰.基于倾斜影像的Mesh模型自动构建方法研究[D].武汉：武汉大学，2017：1-137.

[6]王震，刘健辰.基于图割法的无人机正射影像拼接[J].北京测绘，2020（9）：1179-1183.

[7]陈锐，陈志，张佳煜，等.基于优化三维重建技术的快速影像拼接[J].软件导刊，2020（7）：219-222.

[8]喜文飞，史正涛，李国柱.图论算法的无人机影像匹配特征点粗差剔除[J].测绘通报，2020（4）：6-10.

[9]刘洪江，曹玉香，李佳，等.基于OpenCV图像处理的无人机影像拼接技术研究[J].城市勘测，2021（2）：83-86.