基于域内规划的类质心匹配迁移学习算法研究

刘媛媛，郝慧琴，王耀力，孙永明，常 青

（1.太原理工大学信息与计算机学院，山西 晋中 030600；2.中国电信股份有限公司山西分公司，山西太原 030001；3.山西省林业和草原科学研究院，山西太原 030002）

烟雾检测对森林火灾的有效扑救有重要意义，因为火灾的前期通常是以烟雾的形式表现出来，如果能够快速检测到烟雾并及时进行灭火处理，可以减少火灾带来的损失。近年来国内外烟雾识别检测技术研究热点主要集中在基于烟雾图像的检测技术，通过对烟雾视频影像进行深度学习训练实现图像分类与识别。此类方法要求研究问题必须满足训练过程中训练样本与测试样本独立同分布，且需要有足够可利用的训练样本图的假设。然而，不同场景中的烟雾图像无法满足独立同分布，且现实场景中，收集足够的不同场景中的样本标签数据往往既昂贵又费力，样本获取困难，即产生所谓小样本问题，模型推广困难。

迁移学习[1]领域自适应方法[2]可以很好地解决这一问题，对于缺乏标签数据的烟雾检测任务，利用相似领域中丰富的标签数据去学习。目前大多迁移学习算法对目标样本进行单独标记，容易产生误分类，而误分类的样本将影响后续迭代中对共同特征空间的学习，最终导致性能显著下降。

综上所述，采用类质心匹配和局部流形自学习(CMMS)迁移学习算法[3]，对目标域进行标记时，通过将目标域中同一集群中的样本视为一个整体来分配标签，即将领域自适应的分布差异最小化问题重构为类质心匹配问题，同时加入域内规划法[4]，使其充分利用域内结构来对样本进行分类，达到较好的分类效果。

1 基于类质心匹配的迁移学习算法

1.1 类质心匹配算法

为了获取目标数据的样本分布结构信息，可以用聚类的思想来获得聚类原型，这些原型可以看作是伪类质心。为了实现这个目标，采用经典的K-means算法来获取聚类原型，即：

其中，P∈Rm×d为投影矩阵，F∈Rd×C为目标数据的聚类中心。定义源域样本为xsi∈Rm，对应的标签为ysi∈Rm，源域数据可表示为定义目标域样本为xtj∈Rm，目标域数据可表示为Gt∈Rnt×C为目标数据的聚类标签矩阵，如果xti的聚类标签为j，则(Gt)ij=1，否则(Gt)ij=0。

获得目标数据的聚类原型后，就可以将域自适应中的分布差异最小化问题转化为类质心匹配问题。源数据的类质心可以通过计算同一类中样本特征的平均值来获得精确值。为使简单有效，选择最近邻搜索来解决类质心匹配问题。即为每个目标聚类质心搜索最近的源类质心，并最小化每对类质心的距离之和。所以，两个域的类质心匹配公式如下:

其中，ES∈RnS×C是一个常数矩阵，用于计算投影空间中源数据的类质心，如果ysi=j,每个元素，否则Eij=0。

1.2 局部流行自学习

目标样本的聚类原型实际上是它们对应的类质心的近似。因此，聚类原型的质量对算法的最终性能起着重要的作用。已有研究证明，利用局部流形结构可以显著提高聚类性能。然而，它们大多高度依赖于原始特征空间中预定义的邻接矩阵，但由于维数过高，无法获得高维数据固有的局部流形结构。所以使用局部流形自学习策略[5]，不再预先在原有的高维空间中定义相邻矩阵，而是根据投影的低维空间中的局部连通性自适应地学习数据的相似度，从而获得目标数据的固有局部流形结构。局部流形自学习公式如下：

其中，S∈Rnt×nt是目标域的邻接矩阵，δ是超参数。Lt是对应的图拉普拉斯矩阵，由Lt=D-S计算，其中D是一个对角矩阵，每个元素为Dii=∑j≠iSij。

对于源数据，一个合理的假设是同一类的样本在投影空间中尽可能接近，这样可以保留源域的判别结构信息[6]。作为一个简单但有效的技巧，公式如下：

其中，tr(·) 为迹，W为源数据相似度矩阵，定义为如果ysi=ysj=c，则，否则为0。系数用于消除不同类大小的影响[7]。LS为拉普拉斯矩阵，定义为：

其中，X=[Xs,Xt]，L=diag(2Ls,2Lt)。结合式（3）和式（4），得到了一个通用的Ψ(P,S)项，它可以获得源数据和目标数据的不同结构信息:

为避免过拟合和提高泛化能力，在投影矩阵P中进一步增加了F 范数正则项：

因此，结合公式（1）、（2）、（6）、（7），得到了最终的公式：

其中Id是维数为d的单位矩阵，H为中心矩阵，定义为:

其中的第一个约束是受主成分分析的启发，其目的是使投影数据方差最大[8]。

2 改进的类质心匹配算法

2.1 域内规划法

迁移学习的目的是将知识从一个标记良好的领域转移到一个相似但不同的领域，这些领域有有限的标记或没有标记。但是现有的基于学习的方法往往需要密集的模型选择和超参数调整才能获得良好的结果。此外，因为目标域中通常没有标签，导致超参数的调优不能进行交叉验证。所以，需对以上类质心匹配算法进行改进。

域内规划直接学习迁移分类器，为域内对齐提供可靠的似然信息。域内规划引入了概率标注矩阵，并建立非参数传递分类器。其中c∈{1,…,C} 为类标号，M∈RC×nt为概率标注矩阵，其中的元素满足0 ≤Mcj≤1。Mcj表示属于类c的概率为。这样，代价函数可以形式化为：

其中距离值Dcj是距离矩阵D中的元素，定义Dcj为xtj到源域第c类中心的距离。定义hc是的第c类中心，则Dcj可以通过欧几里得距离计算：

其中I(·) 为指示函数，如果条件为真，则其值为1，否则为0。

2.2 约束条件

考虑最小化代价函数的约束，首先，Mcj的值是一个度量xtj属于类c的置信度的概率，所以一个特定样本xtj属于所有现有类的概率为1。即满足：

其次，由于Ωs和Ωt有相同的类别空间，即ys=yt，所以对于任何给定的类c至少有一个样本，即满足：

实际上，Mcj的理想值应该是一个二进制，0 或者1，即如果xj属于类c，Mcj=1，否则Mcj=0。

因此，在不影响计算结果的情况下，使用以下公式代替上面的公式：

2.3 学习目标

结合代价函数和约束条件，最终的学习目标为：

这是一个求解线性规划问题，可以用PuLP 求解M，最终由softmax 函数给出xtj的标签：

所有xtj的标签ytj组成一个标签矩阵Gt∈Rnt×C，代入式（8）中。

目标函数为：

其中，n=ns+nt，V=diag(0ns×nt,Int),E=[Es;0nt×C],G=[0ns×C;Gt],L=diag(Ls,Lt)。

域内规划法不仅考虑到样本和中心的关系，还需考虑与其他样本之间的关系。改进后的域内规划类质心匹配算法(P-CMMS)的流程图如图1 所示。

图1 P-CMMS流程图

3 仿真实验与分析

3.1 实验概述

为了评估P-CMMS 算法的有效性，将其应用到两个不同类的数据集进行分析比较。

Office-Caltech10 数据集[9]：Office31 包含31 种办公物品的图像，共4 110 张，图像包括三个领域：亚马逊（A）、数码单反（D）和网络摄像头（W）。A 域是从网上下载的，D 域的图像由数码单反相机拍摄，W 域来自网络摄像机拍摄。Caltech-256 包含30 607 幅图像和256 个类别。由于Office 和Caltech 中的对象遵循不同的分布，域自适应有助于执行跨域识别。使用Office-Caltech10 数据集，该数据集包含12 个任务:A →D，A →C，…，C →W。在后续部分，使用A →B 来表示从源域A 到目标域B 的知识迁移。

烟雾数据集：由山西省林科院引进的南非ForestWatch 林火智能监测系统采集到的卫星遥感图像和视频影像图像，分为有烟和无烟两类，图像样本如图2 所示。

图2 烟雾样本图

对于卫星遥感(RS)图像，其易获取，数据量大，但拍摄周期较长，时效性低。而视频影像(V)图像可以克服卫星遥感图像无法实时的缺点，能够快速反映火灾情况。烟雾数据集包括1 000 张卫星遥感(RS)图像和1 000 张视频影像(V)图像，不同图像分布代表两个不同的领域。其中，每个领域分别包括500张有烟图像和500 张无烟图像。将每张图片大小调整为3×224×224。选用Resnet50 网络提取数据集特征，并与目前先进方法JDA[10]、BDA[11]、GFK[9]、CMEDA[12]进行比较。实验采用交叉验证的方法将各领域样本集按比例划分为训练集、验证集和测试集。其中，训练集占总样本50%，验证集和测试机各占25%。

实验利用准确率（Accuracy）、精确率(Precision)、召回率(Recall)和精确率与召回率的调和均值F1 衡量算法的性能，使烟雾图像为正类，非烟雾图像为负类，其计算公式如下：

参照的混淆矩阵如表1 所示。

表1 混淆矩阵表

3.2 Office-Caltech10分类准确率

在Office-Caltech10 数据集上分别使用GFK、CORAL、TCA、JDA、MEDA 与提出方法P-CMMS 在分类准确率上进行对比，结果列于表2。由实验结果可知，P-CMMS 平均精度方面优于其他方法，除了C→W 之外，它在其他任务中表现最好。可以明显看出在12 个分类任务中，P-CMMS 都有明显优势，且PCMMS 的平均分类精度提高了1.7%。

表2 Office-Caltech10数据集分类准确率

3.3 烟雾预测准确率

将卫星遥感样本集作为源域，视频影像样本集作为目标域，迁移准确率如表3 所示。从假阳性、假阴性和准确率的角度来看，P-CMMS 的迁移效果优于JDA、BDA、GFK、CMEDA。其中，假阳性为3.02%，假阴性为4.14%，准确率为96.50%，准确率比CMMS明显提高了4.50%。

表3 卫星遥感图像到视频影像图像的迁移准确性

将视频影像样本集作为源域，卫星遥感样本集作为目标域，迁移准确率如表4 所示，P-CMMS 的迁移效果同样优于JDA、BDA、GFK、CMEDA。其中，假阳性为10.54%，假阴性为7.12%，准确率为92.00%，准确率比CMMS 明显提高了6.50%。

表4 视频影像图像到卫星遥感图像的迁移准确性

对比表3 和表4 可知，引入域内规划可以更深入地学习目标域数据的结构信息，充分利用域内结构来对样本进行分类，达到更好的分类效果。

由于实验中用于特征提取的CNN 网络模型参数是由基于ImageNet 数据集的预训练模型迁移得到的，卫星遥感图像到视频影像图像的迁移准确率低于卫星遥感图像到视频影像图像的迁移准确率。

在烟雾数据集，迁移准确率(Accuracy)、精确率(Precision)、召回率(Recall)和调和均值F1如表5所示，其中RS→V 表示卫星遥感图像到视频影像图像的迁移，召回率为97.2%；V→RS 表示视频影像图像到卫星遥感图像的迁移，召回率为93.4%。从精确率(Precision)、召回率(Recall)及两者的调和均值F1 可以看出提出的P-CMMS 方法性能较好。

表5 迁移准确率、精确率、召回率、F1

3.4 收敛速度

在视频影像图像和卫星遥感图像数据集下，对比P-CMMS 方法与JDA、BDA、CMMS 方法的收敛速度。图3 显示了对卫星遥感样本集学习，对视频影像样本集进行预测过程中每次迭代的准确率。图4显示了对视频影像样本集学习，对卫星遥感样本集进行预测过程中每次迭代的准确率。

由图3 和图4 实验结果可知，P-CMMS 算法在迭代次数为5 次时就已经收敛，该算法在收敛速度方面有很大优势。

图3 卫星遥感图像到视频影像图像收敛速度

图4 视频影像图像到卫星遥感图像收敛速度

4 结论

针对森林火灾烟雾检测中缺乏标签数据的问题，讨论了类质心匹配和局部流行自学习迁移学习算法的优化，对其加入域内规划法，该算法不仅考虑到样本与中心的关系，还考虑到与其他样本之间的关系，使其充分利用域内结构来对样本进行分类。在实验中，基于卫星遥感图像与视频影像图像数据集对该模型进行评估，分别与各种最先进的迁移学习方法进行比较。结果表明，P-CMMS 算法在视频影像图像上的准确率提高了4.50%，在卫星遥感图像上的准确率提高了6.50%，且在迭代次数为5 次时就已经收敛，可以达到较好的分类效果。