帅通 孙康 师本慧 陈金勇
(中国电子科技集团公司第五十四研究所,石家庄050081)
面向亚米级遥感图像的舰船目标自动识别方法
帅通 孙康 师本慧 陈金勇
(中国电子科技集团公司第五十四研究所,石家庄050081)
随着光学遥感技术的发展,空间分辨率不断提高,为舰船目标自动识别提供了数据基础,但是目前缺失成熟的技术方法来实现对舰船型号的自动识别。本文基于经典的局部不变性特征提取算子SIFT,提出了一种舰船目标的自动识别算法,主要包括特征提取、特征描述、特征匹配和目标确认等步骤,通过相同型号目标和不同型号目标在特征匹配时表现出的差异性来对目标匹配结果进行判别,从而基于目标库实现对未知目标型号的识别。实验结果显示,基于构建的目标切片库,该自动识别流程能够对感兴趣舰船目标进行有效识别,总识别率达92%,其中军用舰船目标识别率高达100%,这与同一型号军用舰船表面的布局具有高度的一致性有关。该方法为舰船目标的自动精细识别提供了一种新的思路,具有广泛的应用潜力。
亚米级;遥感;舰船目标;自动识别
遥感技术具有大范围、多时相、高动态的探测特点,在舰船目标探测和识别中具有独特的优势,能够为海上交通监测、渔业监测、海上应急救援、出入境监控等提供快速、准确的信息支持。
发展前期,由于遥感影像空间分辨率不足,主要用于对舰船目标的检测,且以SAR数据为主,主要是因为光学遥感图像易受气象条件影响所致。随着空间探测技术的发展,遥感影像空间分辨率也在不断提高,国外军事卫星、商业卫星等早已达到亚米级分辨率,而我国随着高分专项的逐步推进,也正在逐步迈入高分辨率对地观测时代。这不仅为资源调查、环境监测、目标探测以及目标识别等需求提供了大量的遥感数据,也将促使舰船目标遥感探测技术从舰船目标检测向舰船目标型号自动识别发展。光学图像因其具有成像直观、目标几何细节保留清晰等优点,在对舰船目标进行进一步分类、解译和确认时具有更大的优势。
受限于数据源的问题,目前基于高分辨率光学遥感图像进行舰船型号自动识别的研究很少,尚未形成完善、可靠的目标识别流程。对舰船目标型号的自动识别,不能仅依赖于舰船目标的长度、宽度、面积、长宽比等几何参量,而应结合舰船内部亚目标或特征点的分布信息,通过舰船上的布局构造信息来对舰船型号实现自动识别。本受机器视觉相关研究的启发,拟基于局部不变性特征来实现对舰船目标型号的自动识别。
局部不变性特征是一种基于尺度空间的,对图像平移、旋转、缩放及灰度线性变化能够进行不变性描述的图像局部特征点描述方法,在人脸识别、指纹识别等领域取得了广泛应用。光学遥感图像中的舰船目标可能来源于不同的传感器,具有不同的分辨率,相同型号目标也可能显示出不同的尺度、指向、位置、辐亮度,因此该算法适用于舰船型号的自动识别。局部不变性特征已经发展了很多算法,其中以SIFT(Scale Invariant Feature Transform)算法最为经典,它是一种高效的图像局部不变性特征点的检测算法,且已经在遥感图像配准等遥感图像处理领域表现出优异的性能。
综上所述,本文拟基于经典的局部不变性特征提取算法SIFT开展舰船目标型号识别研究,为基于高分辨率光学遥感数据的舰船目标自动识别提供解决思路。
本研究从开放平台Google Earth上截取不同类型的高分辨率舰船切片构成一个小型的舰船目标切片库,包含军民各类船只共计切片26幅,如图 1所示,用于验证基于局部不变性特征的舰船目标识别算法的效果。结合舰船长度、宽度数据以及舰船几何形状,通过人工解译的方法可以判定图1中三个黑框内的舰船切片属于同一型号舰船,尤其是黑框2和黑框3内的舰船具有非常一致的舰船形状和布局,而黑框1内的两个集装箱运输船,并没有太明显的一致性纹理特征,但从长度、宽度以及用途上可以判断为同一类型船只。
基于局部不变性特征的舰船目标自动识别主要包括SIFT特征提取、特征描述、特征匹配和目标确认四个步骤,分别描述如下:
3.1 SIFT特征的提取
在尺度空间中对SIFT特征点进行检测,能够保证检测到的局部特征点具备尺度不变性的特质。高斯卷积核是唯一的线性变化核,因此尺度空间被定义为:
其中 G(x,y,)是在尺度下的高斯函数卷积核:
SIFT算法在尺度空间检测特征点,首先将某一尺度相邻的两个高斯尺度空间图像进行相减,得到对应高斯差的响应值图像D(x,y,)。再对响应值图像的非最大值进行抑制,同时在尺度空间和位置上对特征点进行定位。
通过同一组内各高斯差相邻层之间的比较来对特征点进行搜索。每个采样点需与其同一尺度以及相邻尺度下的所有相邻点进行比较,看它是否比这些点的值大,以此寻找尺度空间的极值点。通过以上流程对尺度空间的特征点进行检测,可以得到它所在的尺度和位置。
3.2 SIFT特征的描述
对SIFT特征点进行描述主要包括特征点主方向和特征矢量两部分。
确定特征点的主方向,能够保证对特征点特征向量的描述保持旋转不变性,主方向可以利用特征点周围区域像素的梯度幅值大小及方向分布的特性得到。
具体计算方法如下:对以特征点为中心的邻近区域进行采样,并对邻域像素中每个梯度方向的累加值进行统计。其中,在对梯度方向直方图进行统计时,为降低距离特征点较远处像元值的影响,采用高斯模板对每个梯度值进行加权处理,模板参数设为所在尺度的1.5倍。在统计的梯度方向直方图中检索其中的峰值,峰值所对应的梯度方向即作为该特征点的主方向。
为保证提取特征具备旋转不变性,将图像坐标方向旋转到特征点对应主方向,再以特征点为中心取一个16×16的区域。然后将这个区域再划分为4×4个小区域,每个小区域的大小为4×4个像素,在每个小区域块中计算8个梯度方向的统计直方图。
对以上16个小区域块中的8方向梯度值按照位置进行排序,构成一个128 维(16×8)的特征向量,该特征向量即为SIFT特征点的描述子,此时构建的描述子已经去除了尺度、旋转等几何形变因素对特征描述的影响,然后将描述子的长度进行归一化,以降低辐照度对特征描述的影响。
3.3 特征匹配
对特征点进行匹配主要包括特征匹配和匹配对提纯两部分。
特征匹配的原理可以描述为:令样本图像内的特征点集为基准集{pi},i=1,…,n,令待识别目标图像内的特征点集为目标集{qj},j=1,…,m。对目标集中每一个qj,在基准集中总能找到距离最近的pi,则qj和pi可组成一组数据匹配对。进行特征匹配的方法主要可以分为两种:一种是线性扫描法,也称为穷举法,是将目标集中的点与基准集逐一进行距离比较求取最近匹配对,因此无需数据预处理,操作相对简单,但搜索效率偏低;第二种是建立数据索引,然后再进行快速匹配,可以大大加快检索的速度,但建立索引结构需要比较高昂的代价,如Kd-树(K-dimension Tree)等。本研究数据量不大,因此采用第一种算法进行匹配。
即使匹配对中两个特征点的距离是最近的,但由于误差的存在也并不能确定它们指向一致的目标位置,因此需要对匹配对进行筛选,剔除错误的匹配对。通常能够正确匹配的两幅图像存在透视变换关系,则正确的匹配对的变换关系应具有一致性。本研究采用经典的随机抽样一致性RANSAC(Random Sample consensus)算法对匹配结果进行提纯,它实现简单,性能良好。RANSAC算法的核心思想是首先创建一个误差判断模型,然后随机抽取一定符合条件的数据(本研究初始抽样4对),通过误差判断模型反复地迭代、测试(本研究迭代次数为2000),最终找到一个误差最小的模型,用来区分一致性数据和非一致性数据,达到匹配对提纯的目的。
将相同型号舰船目标和不同型号舰船目标分别进行SIFT特征点匹配,效果如图2和图3所示。可以看出两相同型号舰船的匹配点提取准确,局部细节特征匹配精准,匹配对具有高度的一致性;而不同型号舰船目标的匹配结果非常杂乱,且匹配对数很少。由于在利用随机抽样一致性算法进行匹配对提纯时,初始设置抽样数为4,所以匹配结果的误差基数为4,即将不同目标进行强制匹配,则匹配对数一般也会在4个以上。
3.4 目标确认
根据待识别目标和目标库切片的匹配结果进行舰船目标型号的确认。将待识别目标同目标库的舰船切片进行依次匹配,并记录匹配对数,锁定匹配对数最大的舰船切片作为最佳匹配切片。由于匹配误差的存在,并不是最佳匹配切片就是目标识别的最终结果,本研究根据目标匹配算法需求设定匹配阈值N。若最大匹配对数大于匹配阈值N,则认为该最佳匹配切片为目标识别最终结果,待识别目标具有同最佳匹配切片相一致的舰船型号和属性;若最大匹配对数小于等于匹配阈值N,则认为目标库中没有与待识别目标相同型号的舰船目标。
具体流程如图 所示。
基于图1所示的舰船目标切片库,任意取出一个目标作为待识别目标,剩余切片作为目标切片库,将待识别目标同目标库中的其他切片依次进行匹配,用来进行目标识别算法的验证,则共有待识别目标26个,每个待识别目标匹配运算25次,共计650次,耗时1237秒,平均每次SIFT特征匹配和判定输出共计耗时1.9秒。由于RANSAC提纯算法随机抽样误差基数为4,考虑存在一定的错误匹配误差,本研究将匹配阈值N设定为误差基数的2倍,即N=8。
最终舰船目标的识别结果如表1所示。可见,26个舰船目标的自动识别结果正确24个,错误2个,正确识别率为92%。自动识别错误的12号和13号舰船目标为集装箱运输船,其船体绝大部分被集装箱覆盖,仅在船头、边缘和船尾有部分船体暴露,很难获取局部不变性特征,这可能是导致自动识别失败的主要原因。而军用舰船目标(编号2、3、4、7、8)全部自动被识别出来,识别率高达100%。
本文基于经典的局部不变性特征SIFT提取算法,对其在高分辨率遥感图像舰船目标型号识别中的应用开展了研究分析。结果表明,本文基于SIFT算子提出的舰船目标识别算法能够有效对舰船型号进行匹配和识别,总正确识别率高达92%,其中针对军用舰船的识别率高达100%,这主要是由于同一型号军用舰船的表面布局具有高度的一致性所致。
除应用在对舰船目标的自动识别领域外,本文提出的方法还可以应用到车辆、飞机等其他目标的遥感图像自动识别领域,或目标跟踪领域。随着高分辨率遥感数据的推广,本方法也具有非常广阔的应用前景。
同时,本文舰船目标识别的算法也表现出了一定的局限性,如在识别效率有限的前提下,能够识别的舰船型号是有限的,所要识别的舰船目标型号必须包含在目标库中,因此本方法通常应用到对感兴趣的若干目标进行识别和跟踪上,而无法对场景中的所有目标(如无关紧要的舰船目标)都进行型号识别,但可以做出不属于感兴趣目标的判断。此外,通过选用更加高效的局部不变形特征提取算法或者特征匹配算法也能够在一定程度上提高识别效率,拓展可识别目标的范围。