基于迁移学习的隐写分析

叶登攀，马方方，梅园

（武汉大学计算机学院，湖北 武汉 430072）

基于迁移学习的隐写分析

叶登攀，马方方，梅园

（武汉大学计算机学院，湖北 武汉 430072）

在实际应用环境下，训练集和测试集往往存在分布偏差，导致隐写分析检测效果不理想。迁移学习方法旨在从一个领域学习到的知识，来帮助完成新领域中的学习任务，不要求领域间的同分布假设。概述了当前隐写分析失配问题的研究现状，分析了引起隐写分析失配的因素，在TrAdaBoost迁移算法的基础上提出了一种基于迁移学习的隐写分析算法，改善了隐写检测过程中出现的失配问题，并通过实验验证了算法的有效性。

隐写检测；迁移学习；基于实例

1 引言

信息隐藏作为一门新兴学科，是各国研究者所关注和研究的热点，其原理是利用载体中存在的冗余信息来隐藏秘密对象，以实现保密通信或数字签名和认证。信息隐藏技术的主要技术分支是隐写术和数字水印技术。研究者们把研究出的隐写算法发布在他们的主页上，如F5、WOW、MB1、JPHS、HUGO等；网上各种隐写软件可以免费下载。目前，隐写术及隐写分析技术的相关研究得到了学术界广泛的重视。

传统机器学习通常假设训练数据与测试数据服从相同的数据分布。使用传统机器学习进行隐写分析检测，在测试集和训练集同分布时，已经取得很好的效果。然而，在实际中，训练集和测试集数据分布不同的时候，隐写分析检测效果不能得到保证。重新收集训练数据、重新训练分类器需要的代价很大，为重复利用已有的数据经验知识，需要研究学习模型的迁移。

迁移学习可以学习相关领域的数据，将相关领域的有用知识“迁移”到目标领域中，用以解决在目标领域的学习任务。人类的成长来源于不停学习，既可以从现实的不同事物中学到知识，也可以把从一个事物学到的知识应用到另一个事物。

理论和实验分析发现，失配产生的原因大致有2种：一是载体图像生成过程，不同的成像设备和不同的量化表会造成失配；二是隐密图像生成过程，隐写方法不同或嵌入率不同会造成失配。为了解决隐写分析检测过程中出现的失配问题，本文引入了迁移学习的思想，提出了一种基于迁移学习的信息隐藏分析方法。本文采用基于实例的迁移学习方法，在隐写分析检测中使用迁移算法TrAdaBoost。假设辅助域中包含与目的域相同分布的图像库，把辅助域分为与目的域相同分布的图像库、与目的域不同分布的图像库这2部分，训练时不断调节两类图像库的权重，增大与目的域相同分布的图像库的权重。

2 隐写分析概述

Simmons给出了隐写术的一个通俗的阐述，即著名的“囚犯问题”。

囚犯问题模型如图1所示，Alice和Bob被关押在独立的房间，企图共同谋划一个越狱计划，在此之前他们需要商定计划。他们被允许通信，但他们所有的通信被看守 Wendy监视。如果Wendy发现囚犯在秘密地交换信息，他将切断通信信道，把他们单独监禁。囚犯们采用隐写术作为交换越狱计划细节的手段。注意，在“囚犯问题”中，Wendy需要达到的目标只是检测秘密消息的存在，而不需要知道消息的内容。换句话说，当Wendy发现Alice和Bob在进行秘密通信时，隐写系统就认为被破解。

隐写术是一个隐私工具，因而它会很自然地激发人们去攻击它。开发检测秘密消息存在性并最终提取秘密消息方法的相关研究被称为隐写分析。隐写分析模型主要包括2个部分：隐写分析特征和机器学习中的分类器算法。

图1 囚犯问题模型

图像隐写分析系统如图2所示。首先建立载体图像库和隐密图像库，产生训练图像库和测试图像库，分别提取训练图像库和测试图像库的隐写分析特征，利用分类器对训练图像库的特征集进行训练分类，形成训练模型，输入测试特征集，输出隐写判决。

JPEG域的隐写分析特征有CCPEV548、JRM等，Spatial空域的隐写分析特征有SPAM686、SRM等。隐写分析分类器常用的有SVM、随机森林和集成分类器等。

3 研究现状

隐写分析检测过程包括特征提取和训练分类模型。隐写分析特征有 CCPEV[1,2]，SPAM[3]、SRM[4]等，使用的分类器有SVM[5]、随机森林[6]、集成分类器[7]等。现代的隐写技术为了避免被隐写分析检测器检测出来，能够同时保持载体元素之间复杂的依赖关系不受破坏。所以为了检测出隐密信息，隐写分析就不可避免地需要使用高维的特征集。SRM是Fridrich等[4]提出的空域的高维特征，是目前隐写分析检测性能最好的特征。对单一的分类器来说，高的维度导致很多问题，如缺乏训练数据、高度复杂训练的不可行性、泛化能力的恶化、载体资源顽健性的缺乏、自身潜力下表现的饱和，Kodovsky等[7]提出了集成分类器。使用集成算法将多个分类器融合成一个集成分类器，尽管单个分类器的分类性能可能很弱，但是集成分类器的分类性能会有很大的改善。

图2 图像隐写分析系统

基于融合训练的方法和基于迁移学习的方法是目前解决隐写分析失配问题的2种主要方法。Kodovsky等[8]针对JPEG图像隐密分析中常见的量化表失配隐密分析，提出2种融合训练的解决方案：Mixture融合训练和 Closest融合训练。Mixture融合训练方法的原理是把不同量化表进行量化压缩的载体和隐密图像均匀混合作为训练库，利用集成分类器进行训练，训练出的模型对来自普通相机中非标准的量化表量化的载体图像和对应的隐密图像进行隐写检测。Closest融合训练方法的原理是把不同量化表产生的图像库，分别应用集成分类器训练成多个分类模型。测试图像库是由普通相机的非标准量化表量化，通过量化表距离选择量化表最近的图像库的分类器，进行隐写检测。李肖峰等[9]提出了局部领域泛化（LGD）融合训练方法，主要思想是：首先，计算训练图像库和测试图像库量化表的距离，选取相差距离dis〈thread的N个训练库组成局部领域；然后，对量化表不同的局部融合训练库进行泛化学习，学习局部领域中公共成分，使其在局部训练库区间具有泛化能力；最后，利用局部领域的公共成分训练分类模型对待检测图像进行隐写检测。

基于特征空间的迁移学习方法不要求训练集和测试集遵循相同的数据分布。对载体分布、隐写方法、嵌入率等失配因素引起的检测失配，基于特征空间的迁移学习方法有很好的检测效果。李肖峰等[9,10]提出了一种基于特征空间迁移学习的隐写分析方法，基本思想是：首先，进行领域校准，将源领域的样本变换到一个中间域中，该中间域中的训练样本与目标域的训练样本距离更接近，因此，训练样本和测试样本中存在更多可区分类别的特征集，使隐写分析性能提升；然后，学习一个共有的映射函数来提取2个领域的共有特征分量，以减小2个领域的分布距离。

迁移学习广泛存在于人类的生活和学习中。迁移学习是指一种学习对另一种学习的影响，人类学习一种新知识的时候，往往会受到已有知识、经验、技能的影响。学习和迁移二者不可分割。迁移学习有助于提高学习的效率。机器学习中，利用迁移学习可以增强机器学习的适应性，解决机器学习中负迁移、欠适配、过拟合、欠拟合的问题。

传统机器学习要求训练集和测试集同分布，在实际的学习过程中，很难实现训练集和测试集同分布，为了解决实际问题，提出迁移学习。迁移学习就要求训练集和测试集的 source Domain和target Domain与领域相关、任务相同。

例如，在隐写分析检测利用机器学习分类的过程中，发现载体分布不同，即载体的数据来自不同的源，具体体现在载体量化后的噪声分布不一致，分类的过程中会造成失配的现象。在隐写分析检测过程中，当训练集和测试集隐密图像所采取的隐写方法或嵌入率不同时，也会产生失配现象。

迁移学习方法涉及两类主流方法：实例权重法和特征表示法。实例权重法对辅助领域中的实例进行权重调整、提升位于目标领域高密度区域的辅助领域实例权重，从而更好地与目标领域数据分布匹配；特征表示法试图找到原始数据的新特征表示，使辅助领域和目标领域的数据分布更加相似、或使领域相关的具体特征可以被领域无关的抽象特征所表示。

基于实例的迁移学习主要思想是在辅助领域中寻找有助于目标领域学习的实例。但由于辅助领域有效的实例较少，为了解决这个问题，吕静[11]提出基于半监督的聚类集成迁移学习算法。

基于聚类迁移学习过程如图3所示，目标数据和辅助数据合在一起，采用多种聚类算法进行聚类，将不同的聚类结果运用集成算法加权投票，输出最终的聚类结果。根据聚类投票结果，将与目标数据聚在一起的辅助数据保留下来，删掉没有与目标数据聚在一起的辅助数据。保留下来的辅助数据与目标数据有较大的相似性，能够帮助目标数据进行分类。最后，把过滤后的数据和目标数据一起进行分类算法。

图3 聚类集成迁移学习算法

4 图像失配隐写分析

图像隐写分析有效判决和失效判决的过程如图4所示，图像库1和图像库2数据分布不同，其中，图像库1生成训练图像库1和测试图像库1，图像库2生成训练图像库2。训练图像库和测试图像库使用相同的特征提取算法提取隐写分析特征，训练集的特征集经过机器学习训练模型。输入测试图像库1的特征集，使用训练模型1得到有效的隐密判决，使用训练模型2得到失效的隐密判决，即训练集2和测试集1失配。

训练集和测试集失配包括：载体分布（量化表）不同、隐写方法不同、嵌入量不同。

1) 载体分布（量化表）不同。JPEG载体形成过程中，使用不同的量化表进行量化，得到的JPEG载体的数据分布是不同的。同时，隐写方法和嵌入率相同。

2) 隐写方法不同。训练集和测试集中的隐密图像是由载体图像使用不同的隐写方法生成的，导致训练集和测试集中的数据分布不同。同时，训练集和测试集载体分布相同，隐写嵌入率相同。

3) 嵌入率不同。训练集和测试集中的隐密图像是由载体图像使用相同的隐写方法、不同的嵌入率生成的，导致训练集和测试集中的数据分布不同。同时，训练集和测试集载体分布相同。

5 算法原理

假设有少量的目标训练数据（base training data），这些数据与测试数据分布相同，但是数量非常少，不足以训练出一个可靠的分类模型。但是存在有大量的辅助训练数据（auxiliary training data）。辅助训练数据与目标领域数据来自不同的领域，所以它们的数据分布是不同的。本文基本思想是利用辅助训练数据辅助目标训练数据训练一个分类模型，提高测试数据的隐写检测精度。

本节使用戴文渊等[12]提出的 TrAdaBoost迁移学习方法，该方法假设训练图像包含与测试图像相同分布的图像库，训练图像库包括辅助训练图像库和目标训练图像库。其中，辅助训练图像库和测试图像库来自不同的领域，具有不同的分布，目标训练图像库和测试图像库具有相同的分布。使用 Hedge(β)训练辅助训练数据 Ta，使用AdaBoost算法训练目标训练数据 Tb。AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器。算法本身是改变数据分布实现的，它根据每次训练集中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改权值的新数据送给下层分类器进行训练，然后将每次训练得到的分类器融合起来，作为最后的决策分类器。

图4 有效/失效隐密判决

AdaBoost的基本思想是调整训练样本的权重，当一个目标训练样本被误分类后，AdaBoost会增加这个训练样本的权重，这个训练样本会被标记成比较难分类的样本。在下一次迭代训练中，这个训练样本被误分类的概率就会减小。AdaBoost被应用在目标训练数据中，是为了保证分类模型在目标数据的准确性。Hedge(β)算法被用在辅助训练数据Ta上，当Ta被误分类时，说明这个分错的样本和目标数据差别很大，对分类模型的准确度有负面的影响，所以这个训练样本的权重被减小。TrAdaBoost算法机制如图5所示。

图5 TrAdaBoost算法机制

一次迭代后，辅助训练数据Ta中不符合目标训练数据的训练样本权重减小，于是，在若干轮迭代后，辅助训练数据中符合目标训练数据的那些数据就会拥有相对高的权重，而那些不符合源训练数据的权重会降低。那些拥有相对高权重的数据将会帮助目标训练数据训练一个更好的分类模型。

在隐写分析中，TrAdaBoost算法实验步骤如下。

1) 提取特征，生成辅助训练集、目标训练集和测试集。

2) 输入辅助训练集、目标训练集和集成分类器，训练隐写检测模型。

3) 输入测试集，得到检测结果和检测率。

6 实验

在第4节图像失配隐写分析中，介绍了隐写分析的3个失配因素，这里用3个实验分别说明它们对隐写分析性能的影响，并使用TrAdaBoost迁移算法做对比分析，验证算法的有效性。

实验1 载体分布

图像库来源于Bossbase1.01图像库，随机抽取1 000张图像，使用标准量化表、不同的质量因子进行JPEG压缩，质量因子分别为65、75、85、95，使用Matlab工具处理形成4个载体图像库。使用隐写算法 NsF5对载体图像进行隐写，嵌入率为0.4，得到4个隐密图像库，实验中提取CCPEV特征作为检测过程中的隐写分析特征，采用集成分类器。实验结果如图6所示。

图6中记录的数据为检测失误率，包括漏检率和误警率。漏检率是指测试集中的隐密图像没有被检测出来，而被当成了载体图像；误警率是指测试集中的载体图像被误判为隐密图像。

图6 载体分布不同（TrAdaBoost）检测失误率

观察图6的左半部分可知，处于对角线上的数值最小，位于对角线两侧的数值偏大。因此可以得出结论，当训练图像库和测试图像库的质量因子不相同时，隐写检测失误率比两者质量因子相同时要高。又因为当训练图像库和测试图像库的质量因子不相同时，导致训练图像库和测试图像库中的载体和隐密图像分布不相同。载体的分布又直接影响到隐密图像的分布，所以从图6可以看出，载体的分布是隐写分析检测失配的因素之一。图6右半部分显示使用TrAdaBoost迁移算法后，隐写分析检测失误率明显低于未使用TrAdaBoost迁移算法的失误率。

实验2 隐写方法

图像库来源Bossbase1.01图像库，随机选取1 000张载体图像。选用HUGO、WOW、S-UNIWARD这 3种隐写算法对载体图片进行隐写嵌入，嵌入率都为0.4，得到隐密图像各1 000张。实验中提取SRM特征作为检测过程中的隐写分析特征，采用集成分类器。实验结果如图7所示。

观察图7可发现，对角线上的数据最小，即当训练集和测试集中的隐密图像的隐写方法相同时，隐写检测的效果最好。而当训练集和测试集中的隐密图像的隐写方法不同时，隐写检测的效果就会变差。理论上说，造成隐写检测效果变差的原因是训练集和测试集中的隐密图像数据分布不同。不同的隐写方法造成训练集和测试集中的隐密图像的分布不同，因此可以得到隐写方法是隐写分析检测失配的因素之一。图7右半部分显示使用TrAdaBoost迁移算法后，隐写分析检测失误率明显低于未使用 TrAdaBoost迁移算法的失误率。

实验3 嵌入率

以隐写方法WOW为例，当嵌入率不同，观察隐写分析的效率如何变化。图像库来源Bossbase1.01图像库，其中载体图像1 000张，嵌入率分别为0.2、0.4和0.6的WOW隐密图像各1 000张。使用SRM特征作为检测过程中的隐写分析特征，并使用TrAdaBoost算法结合集成分类器进行分类。实验结果如图8所示。

从图8可以看出，嵌入率低的训练图像库对嵌入率高的测试图像库的隐写分析检测性能的影响是积极的，嵌入率高的训练图像库对嵌入率低的测试图像库的隐写分析检测性能的影响是消极的，产生失配的检测结果。当嵌入率为0.4时，检测失误率比其他低。图 8右半部分显示使用TrAdaBoost迁移算法后，隐写分析检测失误率明显低于未使用TrAdaBoost迁移算法的失误率。

简而言之，载体分布、隐写方法和嵌入率不同会使隐写分析检测失配；使用迁移算法TrAdaBoost对隐写分析检测进行迁移后，检测失误率下降。3个实验的实验结果如图9所示，图9(a)为实验1中，当测试集质量因子q=65时，检测失误率随辅助训练集质量因子变化情况；图9(b)为实验2中，当测试集嵌入率为0.2时，检测失误率随辅助训练集嵌入率变化情况；图 9(c)为实验3中，当测试集隐写方法为HUGO时，检测失误率随辅助训练集隐写方法变化情况。

图7 隐写方法不同（TrAdaBoost）检测失误率

图8 嵌入率不同（TrAdaBoost）检测失误率

图9 3个实验的实验结果

7 结束语

现阶段，隐写分析在理论和实验研究都取得了很多的成果。在现有的实验研究数据中，训练样本和测试样本都是为了方便实验而做的标准样本，同时，实验中也做了各种假设，例如能够获得隐写者的载体样本和隐密样本，从而训练样本和测试样本能很好地帮助进行隐写实验。而在实际应用中，收集符合假设的训练样本和测试样本需要耗费大量的人力、物力，也是不可能做到的。所以，就要思考如何在不满足这些假设的情况下，进行隐写检测依然能达到很好的效果，隐写分析算法性能不会下降。但是，到目前为止，关于解决隐写检测失配问题方面的研究仍然很少。所以，进行失配隐写分析的研究，将隐写分析由实验室转移到实际中，有很重要的意义。

本文对现阶段的图像失配隐写分析现状进行了总结，介绍了2种解决失配问题的方法：基于融合训练的方法和基于迁移学习的方法。其中，基于融合训练的方法依赖于训练图像库的多样性；而基于迁移学习的方法是基于特征空间的训练方法，在辅助域和目的域之间找到一个中间域，对中间域和目的域进行学习。

本文对可能引起隐写分析失配的3种因素进行了实验，实验结果显示载体分布、隐写方法和嵌入率都是引起数字图像隐写分析失配的因素，而且它们引起隐写检测失配的程度并不相同。载体分布不同，隐写方法和嵌入率相同时会引起训练图像库中的载体图像和隐密图像，与测试图像库中的载体图像和隐密图像分布不同；隐写方法不同，载体分布和嵌入率相同时，会引起训练图像库和测试图像库中的隐密图像分布不同；嵌入率不同，载体分布和隐写方法相同时，会引起训练图像库和测试图像库中的隐密图像分布不同。载体分布和隐写方法的不同对隐写分析检测性能的影响是消极的，从而产生失配的检测结果；而嵌入率低的训练图像库对嵌入率高的测试图像库的隐写分析检测性能的影响是积极的，嵌入率高的训练图像库对嵌入率低的测试图像库的隐写分析检测性能的影响是消极的，产生失配的检测结果。

另外，本文还提出了一种基于迁移学习的隐写分析算法，利用基于实例的迁移学习算法来解决隐写分析检测中的失配问题。该算法把训练图像库分为两部分：辅助训练图像库和源训练图像库。辅助训练库图像中和测试图像库分布不同，而源训练图像库和测试图像库分布相同。算法增大辅助训练图像库中对检测有帮助的特征的权重，使最终的训练模型对测试图像库的检测性能提升。本文的不足之处在于需要保证源训练图像库和测试图像库的分布相同。

目前，机器学习应用很广泛，受到了很多学者的关注。而目前的机器学习存在负迁移、欠适配、过拟合、欠拟合等问题，所以迁移学习的研究需要更多的学者投入时间和精力。本文做出以下展望。

1) 目前，迁移学习已经有了很多的研究成果，针对隐写分析失配的问题，可以将适合的隐写分析研究的迁移学习方法应用到隐写分析实验中来。

2) 目前隐写分析的实验比较耗费时间和精力，因为从图像库的生成、隐写、提取特征，到检测分析，每一步都需要很长的时间。深度学习目前发展比较迅速，而且使用深度学习可以自动提取隐写分析特征，不用人工提取，提高效率。

[1] PEVNY T, FRIDRICH J. Merging Markov and DCT features for multi-class JPEG steganalysis[C]// The International Society for Optical Engineering(SPIE). 2007.

[2] KODOVSKY J, FRIDRICH J. Calibration revisited[C]//The 11th ACM Multimedia and Security Workshop. 2009:63-74.

[3] PEVNY T, BAS P, FRIDRICH J. Steganalysis by subtractive pixel adjacency matrix[J]. IEEE Transactions on Information Forensics & Security, 2010, 5(2):215-224.

[4] FRIDRICH J, KODOVSKY J. Rich models for steganalysis of digital images[J]. IEEE Transactions on Information Forensics & Security, 2012, 7(3):868-882.

[5] 王舰, 汤光明. 基于SVM的图像隐写检测分析[J]. 计算机研究与发展, 2009, 46(z1). WANG J, TANG G M. Image steganography detection analysis based on SVM[J]. Journal of Computer Research and Development, 2009, 46 (z1).

[6] 胡东辉, 杨阳, 邵锋,等. 一种基于随机森林的JPEG图像通用隐写分析方法[C]//全国信息隐藏暨多媒体信息安全学术大会(CIHW). 2012. HU D H, YANG Y，SHAO F, et al. JPEG image steganographic analysis method based on random forest[C]//China Information Hiding And Multimedia Security Workshop(CIHW). 2012

[7] KODOVSKY J, FRIDRICH J, HOLUB V. Ensemble classifiers for steganalysis of digital media[J]. IEEE Transactions on Information Forensics and Security,7(2):432-444.

[8] KODOVSKÝ J, SEDIGHI V, FRIDRICH J. Study of cover source mismatch in steganalysis and ways to mitigate its impact[C]//The International Society for Optical Engineering(SPIE). 2014:96-101.

[9] 李肖峰. JPEG图像失配隐密分析研究[D]. 大连: 大连理工大学, 2014. LI X F. JPEG image mismatch secret analysis[D]. Dalian: Dalian University of Technology, 2014.

[10] LI X F, KONG X, WANG B, et al. Generalized transfer component analysis for mismatched JPEG steganalysis[C]// IEEE International Conference on Image Processing. 2013:4432-4436.

[11] 吕静. 基于实例的迁移学习算法研究[D]. 太原: 山西财经大学, 2013. LV J. The migration learning algorithm study based on case[D]. Taiyuan: Shanxi University of Finance and Economics, 2013.

[12] 戴文渊. 基于实例和特征的迁移学习算法研究[D]. 上海: 上海交通大学, 2009. DAI W Y. The migration learning algorithm study based on case and characteristics[D]. Shanghai: Shanghai jiaotong University, 2009.

Steganalysis based on transfer learning

YE Deng-pan, MA Fang-fang, MEI Yuan
(Computer School, Wuhan University, Wuhan 430072,China)

In practice, when the training set and testing set are mismatched, performance of steganalysis can not be guaranteed. The transfer learning aims at using the knowledge learned from one domain to help complete the learning task in the new domain, and does not require the same distribution assumption. A more comprehensive review of mismatched steganography research status was made and the mismatch factors were analyzed. Methods on instance-based transfer learning were presented to solve the test mismatch problem during the steganography detections. Key words: steganography, transfer learning, based on instance

TP309.7

A

10.11959/j.issn.2096-109x.2017.00116

叶登攀（1975-），男，湖北黄冈人，博士，武汉大学教授，主要研究方向为信息安全、信息隐藏。

马方方（1993-），女，安徽阜阳人，武汉大学硕士生，主要研究方向为信息安全。

梅园（1980-），女，湖北武汉人，武汉大学博士生，主要研究方向为多媒体安全。

2016-09-26；

2016-10-09。通信作者：马方方，2698910297@qq.com

国家自然科学基金资助项目（No.61272453）；湖北省重大科技创新计划基金资助项目（No.2015AAA013）；NSFC—通用技术基础研究联合基金资助项目（No.U1236204）

Foundation Items: The National Natural Science Foundation of China(No.61272453), Major Scientific and Technological Innovation Project of Hubei Province(No.2015AAA013), NSFC-General Technology Foundation Research United Fund (No.U1236204)