基于知识图谱的目标识别模型

王海晏，江 涛，王 芳，邓世杰

(空军工程大学，陕西 西安 710038)

0 引言

高光谱成像技术是建立在成像光谱学基础上的全新的综合性遥感技术，其集光谱分光技术、光电转换技术、探测器技术、光学成像技术于一体[1]。其利用成像光谱仪纳米级的光谱分辨率，在几十或几百个波段同时对地表地物成像，能够实现地物空间信息、辐射信息、光谱信息的同步获取，因而在资源勘察，灾害检测，海洋、陆地科学研究，军事探测等方面有巨大的应用价值和发展前景。

自光谱成像技术出现以来，目标探测已经发展了许多年。从光谱维的角度出发发展出了约束能量最小化算法(constrained energy minimizatio，CEM)，自动色彩均衡算法(automatic color equalization，ACE)，恒虚警检测算法(reed-xiao detector，RXD)，光谱角匹配算法(spectral angle mapper，SAM)，光谱相关系数映射算法(spectral correlation coefficient mapping，SCM)，光谱信息散度算法(spectral information divergence，SID)[2-4]等第一代探测算法，这些算法奠定了目标探测的主基调，利用信号处理原理，从光谱角度出发通过对背景信号的抑制从而突出目标信号实现目标探测。

在发展过程中又出现了一个新的分支——结合空间信息的探测算法。虽然高光谱空间分辨率受到了限制，但是空间信息还是有可挖掘之处。文献[5]从4个方面论述了空间辅助信息对高光谱遥感数据分析的辅助作用。文献[6]研究了邻域信息对待测中心像元的影响，在图像稀疏特性的基础上将像元的邻域信息应用到分类中，提出了WJSRC算法。文献[7]将光谱维和空间维结合成SAM_SURF算法，其中光谱特征识别所用的算法是SAM，空间特征识别所用的算法是SURF，最后显示空谱联合识别结果。

对空间信息的利用从本质上看也是利用多角度信息减小不确定性，于是考虑将人的先验知识用知识图谱的方式在识别过程中加以利用。文献[8]在雷达目标识别应用领域，为提升雷达目标识别精度，构建了一种基于目标特性知识图谱，主要描述面向雷达目标识别领域的行业知识图谱技术。文献[9]提出了以知识为中心的地物目标识别，这个框架能够更好地利用知识,能够在不同的算法中最大程度地实现知识共享。

虽然利用先验知识进行目标识别已经有了一定的发展，但是在高光谱目标识别中，依然没有具体模型，因此本文针对知识图谱对高光谱数据进行目标识别存在的问题，提出一种基于融合光谱、空间和人先验知识的识别模型。

1 知识图谱

1.1 目标属性

由人的视觉处理系统可以知道，仅从视觉角度可以通过物体的颜色、形状轮廓、运动和深度等信息再结合主观经验进行目标识别。而基于人的主观经验识别出的目标特征是指人在实践过程中，逐步抽象出来的更高级的物体的属性。以飞机目标为例，属性主要包含外形轮廓、颜色、运动等。此外在高光谱图像中，数据是一个三维立方体，包含了二维平面信息和第三维光谱信息，因此属性中还应当包含光谱维信息。

1.2 关联关系

要理解关联关系，首先看人对目标的识别过程。图1是普通高光谱图像的目标，数据是ABU数据集中Urban中的一幅图像，目标是船只，由美国的机载可视红外成像光谱仪(AVIRIS)所拍摄。

图1 示例图像Fig.1 Example image

仅根据图1(a)很难对图中的目标做出判断，然而对照图1(b)则能够知道图像中可能是船，或者说在人的大脑认知中认为是船的概率比较高。这和大脑中存储的知识有关，进一步说就是利用了知识之间的关联性。人们的认知就是船是在水里的，于是问题可以变成对水体的寻找，水和船变成了关联较大的一组概念，在高光谱图像空间维中往往蕴含丰富的信息，如果能充分利用其中信息，再结合人的主观经验，使得最终决策更高效。

关联关系包括目标与目标之间以及目标与地区之间的主要关联关系类型等。这个关联过程主要通过图连接来实现，如果实体之间存在直接连接，则说明其关联关系紧密，反之则不然。例如在不同飞机目标之间、飞机和跑道、飞机和航站楼、飞机和停机坪存在关联关系。

2 目标属性计算方法

2.1 形状轮廓

为了寻找边缘，在数字图像处理中，使用梯度的概念来完成。一幅图像f在位置(x,y)处的梯度用∇f来表示，∇f表达式为

(1)

式(1)中，∇f是一个向量，大小用M(x,y)表示，其值为

(2)

例如Sobel、Canny等检测算子都是在此基础上发展起来的。

Sobel算子是一种用于边缘检测的离散微分算子，它结合了高斯平滑和微分求导。该算子用于计算图像明暗程度近似值，根据图像边缘旁边明暗程度把该区域内超过某个数的特定点记为边缘。其在x和y方向上的梯度计算方法为

(3)

(4)

对外形轮廓进行模板匹配时，有以下几点要求或问题：1) 匹配算法要简单，准确率要较高。由于还有其他识别步骤，该过程使用复杂的算法，会降低整个识别过程的实时性。2) 匹配过程不能受目标位置平移的影响。由于目标在图像中的位置未知，因此要求匹配算法不能对目标位置变化敏感。3) 匹配过程需要减小分辨率不对应造成的影响。实际运用中大部分图像都可能是异源图像，在匹配过程中要求算法能在不同分辨率之间图像进行匹配。4) 算法还需要解决目标旋转问题。目标具有显著的轮廓特征，那么随着目标的旋转，算法结果差异很大，也会造成最终漏判误判。针对以上要求及问题，设计了一种模板匹配算法——特征点匹配算法(feature point matching algorithm)。

步骤1 求得目标区域和模板图像的中心，设(x,y)为非零像元坐标，则其中心(x0,y0)计算公式为

(5)

步骤2 选定特征点位置。以中心(x0,y0)作为坐标原点，在坐标轴上C2距离处分别取4个特征点。设特征点坐标为(xti,yti)，则

(xti,yti)∈{(x0-C2,y0),(x0,y0-C2),
(x0+C2,y0),(x0,y0+C2)}，

(6)

式(6)中，C2=min{x0,y0,b}，b为设定的距离常数。

步骤3 以特征点为基础，计算非零像元与特征点之间的欧式距离和。设特征点(xti,yti)对应的特征值为ti，则

(7)

步骤4 4个特征值组成目标图像特征向量Ttar= (t1,t2,t3,t4)，利用上述过程同样可以获得模板图像的特征向量Tsam，设两个向量之间的相似度为S，则

(8)

根据cos-1函数值的特点S距离越接近0，表示目标和模板越相似。

2.2 光谱匹配

光谱角匹配是一种基本的目标识别算法，它通过计算光谱向量之间的夹角来衡量待识别像素光谱与已知目标光谱之间的相似程度，从而进行判定该像素是否包含目标。其数学表达式为

(9)

式(9)中，X是像元向量，Y是目标向量。Dsam值越接近0则两个光谱向量越相似。

3 实验仿真分析

3.1 光谱和外形轮廓

实验数据是美国加州圣地亚哥North Island海军机场高光谱图像，由AVIRIS机载成像光谱仪拍摄。原始图像大小为 100 × 100，空间分辨率为3.5 m。在人们认知中对飞机最敏感的是其外形轮廓，因此利用光谱和外形轮廓属性进行识别。图像模板如图2所示。

首先利用光谱角匹配方法(spectral angle mapper, SAM)利用参考光谱(参考光谱用目标像元平均值代替)进行匹配，然后对匹配结果利用轮廓识别进行背景剔除，以10×10大小窗口进行识别，在图中会出现5个待识别目标，如图3所示。

图2 图像模板Fig.2 Image template

图3 待识别目标Fig.3 Target to be identified

以图2中模板为基础对图3中目标和背景进行识别，设置C1=2，由式(5)—(7)可得各图像的中心和特征向量，模板 0、目标1和背景1的中心和特征向量如表1所示。

表1 图像中心和特征向量Tab.1 Image center and feature vector

由式(8)得目标1和模板0的相似度为0.200，背景1和模板0的相似度为0.397，同理可得各目标、背景图像和模板图像的匹配结果如表2。

表2 C1=2模板匹配结果Tab.2 Template matching results when C1=2

从表2中可以看出目标与模板相似度值明显低于背景与模板的相似度，从而很容易将目标和模板分开。同时在目标与模板中的最小值总出现在模板7附近，可以判断目标与模板7最为接近。从图3中目标轮廓可以看出匹配结果与实际情况相符。为了更直观体现以表2数据为基础，画出目标相似度雷达图如图4。

图4 相似度雷达图Fig.4 Similarity radar image

由图4可以看出目标1,2,3在模板7附近雷达图明显有内凹的趋势，说明目标轮廓与模板7附近最为相似，可以判断目标朝向与模板7朝向相似。验证了提出的特征点匹配方法对物体识别的有效性以及对方位判别的能力。最终识别检测概率和虚警率如表3所示，其中检测概率和虚警率分别为

Pd=Nt/St，

Pf=Nb/Sb，

(10)

式(10)中，Nt为正确像元数；St为目标像元数；Nb为错误识别像元数；Sb为背景像元总数，如图3(a) 所示，Sb=100×100。

表3 检测概率和虚警率Tab.3 Detection probability and false alarm rate

由此可知轮廓识别后可以在相同检测概率的条件下，有效降低其虚警率，保证目标识别的准确性。

3.2 光谱和地物关联关系

利用图1中的ABU数据集，目标是要寻找船只，通过知识图谱之间的关联关系可以知道，船只和水体的关联程度较高，因此转而寻找水体。由于水体的光谱特征比较显著因此可在图中优先识别水体，以水的光谱作为匹配光谱识别图中水体区域，在水体区域内再进行二次识别，结果如图5所示。

由图5(b)、(c)可以看出通过水体识别的方式能够有效减少水体之外的地物的干扰，提高识别的准确率。图5(d)是ROC曲线，其横轴表示虚警概率，其纵轴表示检测概率，根据不同门限值可以得到一组虚警和检测概率的坐标，进而画出接收机特性曲线(ROC)[10-11]。从曲线的分布可以看出，基于关联关系的方法其ROC曲线始终在光谱角匹配识别的曲线上方，说明在同样虚警率的情况下，基于关联关系的方法检测率更高，或者说在同样检测概率的情况下，基于关联关系方法的虚警率更低。进而说明了基于知识图谱方法对提高检测效率的有效性。

图5 识别效果Fig.5 Recognition effect

4 结论

本文在充分考虑人的先验知识、空间信息和光谱信息的基础上，引入知识图谱作为识别框架，充分利用形状轮廓以及地物之间关联关系等信息，结合光谱匹配的方法进行地物识别，在测试数据集上表现良好，能有效区分地物轮廓并提高检测效率，表明该方法具有一定的可实践性。在后续的研究中将扩展目标属性，构建更加全面的知识图谱和光谱库以适应更广泛、更复杂的地物。