基于分块双向2DPCA及ResNet的景象区域适配性分析

◆孙凯 林强 陈良洁

基于分块双向2DPCA及ResNet的景象区域适配性分析

◆孙凯1林强1陈良洁2

（1.国防科技大学信息通信学院综合信息服务系 湖南 410073；2.63770部队 陕西 710106）

基准图的适配性是影响景象匹配辅助导航系统性能的重要因素，通过景象区域适配性分析可以筛选出匹配性能较高的基准图进而保证导航系统的精度和可靠性。本文提出了基于分块双向2DPCA及ResNet的适配性分析方法：通过分块双向2DPCA提取图像的局部降维信息，再将图像的局部降维信息输入ResNet并训练神经网络得到适配性评估模型。实验结果表明该方法在图像适配性的预测方面表现优异。

分块双向2DPCA；景象匹配；景象区域适配性；残差网络

1 景象区域适配性常见分析方法

景象区域适配性常见分析方法可分为以下三大类：

（1）建立图像基本特征指标与景象区域适配性基本指标的映射模型。图像基本特征指标包括图像灰度方差、边缘密度和Gabor小波特征向量等。通过多属性决策等方法来建立图像特征与适配性基本指标之间的映射模型。这类方法需要人工设计和挑选图像基本特征指标，具有较大的主观不确定性，而且图像基本特征仅适用于某些特定环境下的景象匹配，当任务环境发生变化时模型的可靠性和精度难以保证。

（2）建立图像综合特征指标与景象区域适配性基本指标的映射模型。选取分别代表图像信息量、稳定性和区域唯一性的图像基本特征指标，并通过智能计算方法（如遗传算法）等方法将挑选出来的图像基本特征指标构成复杂的综合性特征指标，再建立综合特征指标与景象适配性基本指标之间的映射关系。这类方法同样由于人为挑选图像基本特征指标而给适配性评估模型引入了人为不确定性，并且当景象匹配环境变化时可能需要重新挑选指标。

（3）建立专家系统模型。这类方法需要预先获取大量的专家知识，条件较为苛刻。当任务环境发生变化而缺乏相关情景下的专家知识时，这类方法就会失效。

2 基于分块双向2DPCA及ResNet的景象区域适配性分析方法

为避免过度依赖先验知识和人工选取图像基本特征带来的主观不确定性、工作量大及适用范围较窄等问题，本文提出了基于分块双向2DPCA及ResNet的景象区域适配性分析方法。首先在2DPCA的基础上提出了分块双向2DPCA，将通过分块双向2DPCA提取到的图像局部降维信息输入ResNet神经网络，训练神经网络得到适配性评估模型。

2.1 分块双向2DPCA

则训练集的协方差矩阵可以表示为：

如图1所示，分块双向2DPCA在图像训练集{A}（=1）的每幅图像上滑动选取大小为×的小采样块p，∈R×s，然后对采样块进行求均值、计算协方差矩阵得到该采样块对应区域图像的行方向投影矩阵X，和列方向投影Z，矩阵，然后计算该采样块的联合投影结果：

其中为保留的特征向量数。

2.2 ResNet原理及分析

ResNet在卷积神经网络的基础上增加了跳跃连接结构，从而解决了深度网络训练困难的问题，主要包含了卷积层、池化层和残差学习模块：

（1）卷积层。卷积神经网络通过卷积操作获取空间局部信息。对于图像而言，第一个卷积层提取线条、边缘和拐角等低级特征，之后的卷积层就能提取纹理等高级特征。每一个卷积层后都会连接一个激励函数，对卷积层的输出做非线性映射。（2）池化层。池化层的每一个神经元对局部感知进行池化操作，起到了二次提取特征的作用。（3）残差学习模块。假设某一段人工神经网络的输入和期望输出分别为、（），若直接将输入输出作为初始结果，则此时网络需要学习的目标为（）=（）-。

传统的全连接层或卷积层在信息传递的过程中会出现不同程度的信息丢失和损耗等问题，而ResNet则在一定程度上解决了这一问题：将信息直接绕道传到输出保护了信息的完整性，并且网络学习目标变为输入和输出的差别，从而简化了学习目标和难度。

2.3 分块双向2DPCA + ResNet适配性分析模型构建

基于分块双向2DPCA + ResNet的景象区域适配性分析模型如图2所示。首先，将图像数据集通过分块双向2DPCA处理得到包含局部降维后的图像数据；然后通过多次模拟匹配实验得到匹配概率作为将图像的适配性基本指标；最后将降维后的图像数据作为ResNet网络的输入，将适配性基本指标经二值化处理后作为图像的网络标签，训练神经网络得到景象区域适配性评估模型。模型将图像分为适配性较强可用于景象匹配和适配性较差不适用于景象匹配两类。

图2 分块双向2DPCA + ResNet适配性评估模型示意图

3 分析与总结

将待评估图像输入基于分块双向2DPCA及ResNet的景象区域适配性评估模型即可得到该图像的适配性分类结果。对测试图像进行窗口大小为的滑动窗口块采样，然后通过适配性评估模型对各个采样块进行适配性分析。

将结果与传统方法对比，结论如表1所示。

表1 适配性分析方法效果对比

模型模型预测准确率模型训练耗时 Vgg-16[11]92.5%4.85h A-convNets[12]91.1%0.3h Ours92%0.33h

从对比结果可知，新的分析方法在测试集上有较高的预测准确率的同时，模型训练耗时也较短，表明该方法能较为快速、可靠地预测景象区域的适配性。

基于分块双向2DPCA及ResNet的景象区域适配性分析方法可用于挑选出景象匹配辅助导航的基准图，在对网络标签计算方式进行修改后也可用于其他图像质量评估的任务，例如人脸识别中的人脸模板的筛选等等。

[1]彭允祥. 捷联惯导与导航卫星组合技术的发展趋势[J]. 导弹与航天运载技术，1999（4）：58-62.

[2]刘扬，赵峰伟，金善良. 景象匹配区的选择方法[J]. 红外与激光工程，2001，30（3）：168-170，229.

[3]刘中华，王晖，陈宝国. 景象匹配区选取方法研究[J]. 计算机技术与发展，2013（12）：128-133.