基于ORB图像局部特征的图像比对方法的研究及应用

钱晓明 许保瑜 吴圆波

（云南电网有限责任公司昆明供电局）

0 引言

近年来我国社会经济进入了高速增长期，对各种能源的消耗量非常巨大，各种不可再生资源逐步耗尽，急需发展各种可再生资源；由于电力作业中的需求和硬件技术水平的发展，直升机、无人机和在线监测装置等新的巡检方式如雨后春笋般在电网运维作业中出现。这些新的巡检手段不仅提升了巡检作业的效率而且还降低了巡检作业人员的劳动强度，所以它们在电网作业中得到了大范围的推广应用。新型的巡检方式都是通过获取被巡检对象的影像数据为基础，由于高效的成像设备和广泛的使用，导致产生海量的巡检数据，这些数据往往无法被有效地进行处理而变成了数据垃圾。不同时期的图像比对是发现电网设备缺陷的一种有效方法，如何使用计算机视觉技术快速自动地定位出不同图像中的同名点（图像局部特征点）是进行图像自动比对的前提，关于图像局部特征点的描述方法，国内外学者进行了广泛研究。

1 基于ORB图像局部特征的图像比对方法

为了保证电网系统的稳定安全运行，需要定期对电力系统进行巡检，目前直升机、无人机、在线监测等巡检方式逐步代替了传统的巡检方式，它们以图像数据的形式来保存巡检结果。如果要自动地检测出巡检图中包含的设备隐患及部件缺陷，基础工作就是进行图像局部比对，本文提出了一种基于混合高斯背景建模的仪表自动读数方法，首先采用搭载成像设备的巡检工具获取电力设备的巡检数据并对数据进行预处理；使用ORB算子提取待比对图像中包含的局部特征点；使用欧式距离判断两幅图像中包含的相似区域。

1.1 ORB的算法原理

ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。①它利用FAST特征点检测的方法来检测特征点。②利用Harris角点的度量方法，从中挑选出Harris角点响应值最大的N个特征点。其中Harris角点的响应函数定义，如式（1）所示：

FAST检测特征点不具备尺度不变性，可以像SIFT特征一样，借助尺度空间理论构建图像高斯金字塔，然后在每一层金字塔图像上检测角点，以实现尺度不变性。对于旋转不变性，在半径为r的邻域内求取灰度质心的方法，从特征点到灰度质心的向量，定义为该特征点的主方向。图像矩定义，如式（2）所示：

I（x，y）表示像素灰度值，0阶矩m00即图像邻域窗口内所有像素的灰度和，m10和m01分别为相对x和相对y的一阶矩，因此图像局部邻域的中心矩或者质心可定义如式（3）所示：

特征点与质心形成的向量与x轴的夹角定义为特征点的主方向，如式（4）所示：

1.2 图像局部特征描述

ORB采用BRIEF作为特征描述方法，BRIEF虽然速度优势明显，但也存在一些缺陷，例如不具备尺度不变性和旋转不变性，对噪声敏感。尺度不变性的问题在利用FAST检测特征点时，通过构建高斯金字塔得以解决。BRIEF中采用9×9的高斯卷积核进行滤波降噪，可以在一定程度上缓解噪声敏感问题；ORB中利用积分图像，在31×31的Patch中选取随机点对，并以选取的随机点为中心，在5×5的窗口内计算灰度平均值（灰度和），比较随机点对的邻域灰度均值，进行二进制编码，而不是仅仅由两个随机点对的像素值决定编码结果，可以有效地解决噪声问题。至于旋转不变性问题，可利用FAST特征点检测时求取的主方向，旋转特征点邻域，但旋转整个Patch再提取BRIEF特征描述子的计算代价较大，因此，ORB采用了一种更高效的方式，在每个特征点邻域Patch内，先选取256对随机点，将其进行旋转，然后做判决编码为二进制串。n个点对构成矩阵S为：

旋转矩阵R为：

旋转后的坐标矩阵为：

1.3 图像相似性比对

将待比对的两张图像img1和img2分别输入ORB特征描述算子中计算得到两个图像局部特征向量列表list1和list2。然后将两个列表中的特征向量组合成特征向量矩阵并计算两两特征向量之间的距离，算法示意如下所示。

其中，f1代表的是list1中的特征向量，f2代表的是list2中的特征向量，d ij代表的是fi和fj两个向量之间的欧式距离。通过对特征矩阵中的距离值进行阈值化处理就可获取到两个待比对图像中的相似区域。

2 实验结果和分析

在ubuntu20.04 64位上使用Qt5.14、Opencv 4.5.4和GCC编译器实现了本文中所提出的算法。硬件环境为：Intel（R）Core（TM）i5-8300U CPU@2.3GHz 2.3GHz，8.00GB内存，RTX2060 6G显存。在实验中使用了直升机搭载的大疆FC6310型相机所拍摄到的分辨率为1600万像素的数据，并使用本文提出的算法对其进行了测试。不同时期的输电线路巡检图片，如图1所示，左图为第一个时期的巡检照片，右图为第二个时期的巡检照片，其中圆点为ORB算子计算出来的局部特征点。

图1 输电线路巡检图像特征点提取结果

图2为通过ORB特征向量之间的欧式距离作为测度，对巡检图像进行比对的结果，在图中直线段连接的是两个相互匹配的特征点，说明两幅图像中特征点所对应区域具有极大的相似性。

图2 基于ORB图像局部特征巡检图像比对结果

3 结束语

本文提出了一种基于ORB图像局部特征的图像比对方法，通过无人机拍摄输电线路巡检图像，对图像进行高斯平滑去除图像中的高斯噪声；采用ORB图像局部特征描述算子对巡检图像进行特征提取，得到巡检图像的局部特征描述列表；再计算巡检图像ORB特征描述向量相互之间的距离，采用欧式距离来表征特征向量之间的距离，最后获取到特征向量之间相似度值，进而找到图像中相互匹配的区域完成图像之间的比对任务。实验结果表明本文的算法可以实现对输电线路巡检图片的比对功能，可以有效提升对巡检图像的利用水平，算法运行效率可以达到实时比度的要求。