杨光熙
摘要:在油田安防工作中,视频监控是一个重要环节,近年来无人机技术的发展,不仅减少人工巡检的工作量,更提高对异常情况进行响应的及时性。由于无人机行进过程中,针对同一物体获取到的图像以及视频资料可能来自不同角度,导致无人机自动识别目标的难度增加,无法达到自动导航的效果。针对这一问题提出可行性改进方案,将SIFT图像配准算法应用到实际设备中,提取图像特征点,并计算每个特征点的描述符,提高特征点匹配的准确性。
关键词:油田安防;配准;特征点;特征描述符
一、前言
视频监控是油田生产中的重要技术手段,油田安防系统中,工作人员可以通过摄像头对现场进行监控。当现场出现设备故障等意外时,视频数据将作为后续处理故障以及追责的重要依据。大庆油田幅员辽阔,因此对于施工作业现场的影像资料通过人工获取的成本较大,此外,对于异常情况的响应速度也较慢,无法在第一时间获取现场的影像资料。在这些困难存在的情况下,无人机技术的应用成为必然的趋势。无人机能够快速到达现场,节约人力成本,提高异常情况的响应速度。但是目前的无人机仍需要操作员进行远程控制,无法做到自动识别并锁定目标。究其原因,是由于无人机摄像头对于目标的识别准确性不高,针对同一物体,从不同角度进行拍摄,无法从获取到的图像中识别出同一目标,从而进行图像的匹配。SIFT(尺度不变特征变换)[1]算法是David G.Lowe教授于1999年提出的匹配算法,它的基本原理基于不变量描述符的匹配。经典SIFT算法对图像配准[2]技术具有重大意义,它有如下的两个主要特点:①算法针对图像局部特征进行提取,因此对于图像场景中的仿射变换、明暗转换等因素的影响下,可以具备良好稳定性;②在一些图像中,我们直接通过肉眼并不能在影响因素存在的条件下轻易识别出物品,但在提取特征点时,该算法可以识别到图像中极其细微的特征,并为大量特征点建立特征描述符。本文中提出采用SIFT算法对油田监控图像进行配准的设想。
二、SIFT算法原理概述
计算机视觉的一项重要功能就是,通过摄像机拍摄的图像,经过特殊算法,获取到图像场景中的几何关系,并能够识别物体。空间物体表面的三维空间位置与图像中相应物体的三维空间关系是可以通过一定的转换关系进行关联的[3]。而这种现实中物体的三维几何特征到图像中相应物体的特征,二者之间的转换关系就是摄像机的参数,在摄像测量的过程中,也涉及需要这种摄像机参数的情况,因此,如何获取准确的摄像机参数也成为多年以来的热门研究课题,这种计算摄像机参数的过程就被称为摄像机标定。而通过摄像机参数来对图像进行处理,将两幅图像进行匹配的过程被称为图像配准。
图像配准的最基本工作就是找到图片中最有代表性的亮点或暗点,也就是特征点[4]。由上述可知,特征点的一大特点就是,必须能够在尽可能多的干扰情况下依然突出,保证其特别性,才能作为描述图像中物体特性轮廓的点。SIFT算法在分析了多种影响因素的情况下,引入了通过尺度空间来锁定图像特征点的方法。即认为,能够在不同尺度下依然能够保持突出的点,就是图像的特征点。SIFT算法的步骤大致分为:①对图像进行不同尺度的模糊,建立高斯金字塔。②对高斯金字塔进行进一步处理,相邻图像做差,建立DoG金字塔[5]。③获取每一张图的局部极值点,即最能克服尺度变化依旧保持特殊的点。④极值点筛选,留下特征足够明显的极值点,作为特征点。⑤对每一个特征点建立描述符,描述特征点,以便后面进行匹配。⑥将两幅图中特征描述符最接近的点进行匹配,获得最终匹配结果。算法具体过程解释如下。
(一)建立高斯金字塔
构建尺度空间的过程可以理解为在不同程度上对图像进行模糊,以便从中提取能够保持稳定特性不受尺度影像的特征。在提取时,需要建立包含各种不同尺度图像的空间模型。我们称这个构建出的模型为金字塔,它的作用是在各种尺度上对目标图像提取出稳定的特征点。Koenderink等教授经过试验证实,在尺度空间引入高斯函数的方法是最适合对图像进行处理的。
当比例因子连续增加时,可以获得一系列模糊程度逐渐增加的图像。随着每个级别图像的比例逐层增加,其模糊程度也逐渐增加,最终结果是,当前图像的尺寸以及所占内存都是上一级别图像的一半。此处建造的高斯金字塔有o个级别,每个级别都有s个级别。在同一级别中,两个相邻级别之间的比例为k。
(二)建立DoG金字塔
Lowe教授在论文中指出,对特征点进行检测的过程要在尺度不变的条件下才有意义。因此,怎样在图像中提取出克服尺度变化的特征,是非常重要的问题。林德伯格指出,归一化的LOG算子具有良好的尺度不变性。
在计算方面,DoG算子只需要利用尺度相邻的上下层图像进行相减,这个过程获取到目标的轮廓特征。利用高斯差分算法,可以得到目标图像上每一个像素值的变化趋势以及变化值,从而有效提取目标图像所有像素中变化最大的点。在使用高斯差分算子对图像进行处理的基础上,进一步建立高斯金字塔(DoG金字塔)。
(三)局部极值点的检测
提取关键点的过程是在DoG金字塔中的图像上进行的,为了寻找DoG函数的极值点,目标图像的每一个像素都要和它周围的8个相邻像素进行灰度值比较,看该像素是否为邻域内的极值点。
对每一个检测点来说,它不仅要和同一尺度的8个相邻点进行比较,还需要与它上下相邻尺度图像中的9×2个点进行比较,即比较范围为三维空间中的26个相邻点,确保在纵向上的尺度空间和横向上的图像空间都进行极值点检测,类似于魔方中心块与周围相邻小块进行比较。
由上述原理叙述可知,在尺度空间提取极值的过程中,每一组图像的最上和最下两层是无法进行极值比较的。为了解决这个问题,使尺度连续变化,在每组图像的顶部通过高斯模糊的方式生成三幅图像,这样就保证了原来的最上层图像也有与之进行邻域比较的参考。
(四)特征点的精确定位和进一步过滤
在上述过程之后,可以初始提取图像中的关键点。然而,由于DoG对噪声和边缘敏感,在尺度空间中检测到的局部极值点需要进一步筛选,过程如下:
(1)删除对比度低的点
为提高特征点的稳定性和准确性,需要在尺度空间模型中执行DoG函数的曲线拟合,进而去除对比度比较低的点。
(2)删除边缘点
为了保证特征点的稳定性,仅去除具有低对比度的点是不够的。由于DoG函数在图像边缘具有很强的边缘响应,因此我们需要对图像中的边缘点进行进一步筛选。
通过上述两个过程(1)和(2),将筛选过滤掉大量特征点,留下更稳定和更准确的像素坐标。这个过程对于建立特征描述符的工作至关重要。
(五)建立特征描述符
1.特征点的方向关联。图像配准算法中的最大问题是,如何解决图像内场景旋转带来的影响。通过前几步所提取关键点的邻域像素的梯度特性,为每个关键点设置一个主方向,从而特征描述符增加了一项方向信息,在特征描述符的匹配过程中可以考虑方向因素,达到使描述符旋转不变的目的。
在上述步骤之后,已经检测到图像的关键点,并且获得的每个关键点包含三个重要信息:特征点的位置坐标、特征点的比例和特征点的主要方向。这样保证了提取出的关键点具有旋转以及缩放保持不变的特性。
2.创建功能描述符。建立描述关键点本身以及关键点周围像素特征的描述符来对关键点进行唯一性身份赋予,描述符能够包含足够的特殊性信息。通过调节描述符向量参数信息,获取效果最好的向量维度,既保证了筛选出足够数量和质量的特征点,又保证了算法的运行效率。通过大量实验结果表明,该描述符采用4×4×8=128维向量,具有最佳的抗噪声能力和匹配鲁棒性,同时保证了描述符计算过程的速度。
3.特征描述符的匹配。选择一幅参考图像,以及一幅目标图像,通过之前的几个步骤分别计算两张图像的特征点,并计算每个特征点的描述符。将两张图像所有的特征点的特性描述符进行对比,并为目标图像中的每个特征点找到与之最为匹配的参考图像中的特征点,即找到两幅图中特征描述符最为接近的点对。
两张图的匹配可以用穷举法耗时太长,因此使用建立kd树的方法来实现特征描述符的匹配。对比参考图像的关键点,在目标图像中查找最接近参考图像关键点的特征点。如果两个匹配点之间的距离除以固定最近距离的商值小于预设阈值,则将接受这对匹配点,而预设的阈值可以通过实际图像的复杂程度进行调整,以便找到最佳阈值。整个算法过程的流程图如图1所示。
三、SIFT算法的实际效果展示
(一)SIFT算法的实际图像效果示例图展示
上文中讲述了SIFT算法的原理,本节中参考Lowe教授的文章,将SIFT算法进行实现。通过在不同尺度中检测图像像素的极值点、筛选最具唯一性身份信息的特征点、为每个特征点分配方向以及灰度信息、建立特征描述符的基本过程,即完成了算法,可以得到目标图像与参考图像中相应的特征点匹配。
为了能够验证算法的准确性,检查图像特征点的匹配效率,需要利用真实场景图像进行实际的配准操作。对同一物体进行不同方式的拍摄,比如不同角度或者不同明暗,获取同一物体的不同图像。对采集到的图像进行算法处理,获取图像对的特征点,并进行匹配,通过连线将两幅图中的特征点进行连接,一目了然地检查特征点的匹配准确度。
SIFT算法匹配效果的示例图如图2所示(所用的图像由数据集中随机选取而来)。
(二)SIFT算法在图像库中的匹配效果统计
为了检测上述SIFT算法对多模图像的特征点匹配准确率,需要用大量的图像进行实验,并对效果进行统计。本人在瑞士洛桑联邦理工学院的官方网站上获取包含大量实验图像对的数据包,其中的图像均来自大量实际景物拍摄,即包含村庄田地等自然景物,又包含建筑街道等城市中的场景。用这些包含不同事物的图像来进行配准实验,并将配准误差做统计,以表格的形式保存。
分别计算每个图像库中多模图像对的特征点配准误差,以误差的像素数目作为匹配效果的参考标准。分别将误差像素数目分布在0~2,2~5,5~10,10~20,20~50,50~100以及大于100共七个范围内的点对数目进行统计,并将不同误差范围内点对数所占的百分比进行计算。统计结果如表1所示。
四、算法效果总结以及在油田中的应用前景分析
(一)算法效果总结
前章详细叙述图像匹配经典算法SIFT的原理,分步说明该算法提取特征点、建立特征描述符以及匹配特征描述符的基本过程,利用实景图像进行特征点匹配实验。经过大量图像进行特征描述符的计算以及匹配,获取每对特征点匹配的误差,将误差分布进行统计。实验可以得出结论,上述图像匹配经典算法效果良好,对于内容复杂的场景图片,可以进行特征点匹配。
(二)SIFT图像配准算法在油田中的应用
大庆油田产量高,区域广,安防工作是十分关键的内容,施工作业现场以及设备故障现场视频资料的获取有着重要意义。随着计算机视觉技术的发展,如何利用计算机程序来完成人工的工作,是提高监控效率的重要研究方向。
无人机的特点是监控范围广,大大减少人工巡检的工作量,节约人力成本,同时有效提高故障的响应效率,尽快到达现场,有利于统一管理。传统方式对于操作员的依赖性较大,若能使无人机自动获取并锁定目标,则可完全脱离人工,自动到达现场,进一步减少人工成本,且提高故障响应效率。本文介绍的算法可以应用于油田场景图像的匹配,对于目标的识别以及锁定得到较好的效果。
五、结语
SIFT图像配准算法可以通过检测不同尺度空间中的图像的极值点、对初步检测到的特征点进行过滤、为每个过滤后的特征点分配方向、建立特征描述符、对特征点进行分类、对目标图像和参考图像之间的对应特征点进行匹配,以及匹配两个图像中所有特征点的特征描述符。目的是识别和匹配两张图片中的相同目标。作为计算机视觉的一个重要研究方向,SIFT图像配准算法的相关研究工作已受到国内外众多高校和企业的关注。
实验表明,该算法稳定高效,能够在短时间内处理大量图像,能够满足实际工程的实时性要求。使用该算法对大量图像进行匹配,取得了良好的效果。在后续的研究中,该算法将应用于油田场景图像进行实验,并进一步研究和改进其在油田视频监控中的效果。
参考文献
[1]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints.[J].International Journal of Computer Vision,2004,60(2):91-110.
[2]洪贝,孙继银.图像配准技术研究[D].西安:第二炮兵工程学院,2006.
[3]何文峰,查红彬.基于平面特征的深度图像配准[D].北京:北京大学,2006.
[4]章毓晋.图像理解与计算机视觉[D].北京:清华大学出版社,2000.
[5]Baba C.Vemuri et al.An efficient motion estimator with application to medical image registration[J].Medical Image Analysis,1998,2(1):79-98.