基于区域卷积神经网络的图像秘密共享方案

刘雁孝 吴 萍 孙钦东

1(西安理工大学计算机科学与工程学院 西安 710048) 2(广西可信软件重点实验室(桂林电子科技大学) 广西桂林 541004)

人工智能与传统信息安全技术的结合是当前的热门研究课题.本文将人工智能中的卷积神经网络(convolutional neural network, CNN)与数字图像信息的安全保护相结合，利用人工智能技术提高图像识别和分割的效率，并且在此基础上建立多个图像秘密共享方案，为数字图像信息在多用户环境中的安全保管与提取提出了新的解决方案.

数字图像的信息保护近年来已成为1项热门的研究课题.(k,n)门限图像秘密共享(secret image sharing, SIS)是基于门限的一种加密方法，能够为多个用户提供一种保护图像信息的方案.该方案首先将一幅秘密图像加密成n个影子图像，并分配给n个不同的参与者.在图像恢复阶段，任意k个或更多的影子图像可以重构出原始图像，少于k个影子图像不能得到关于原始图像的任何信息.SIS方案根据实现方法主要分为2类：基于视觉加密技术的SIS[1-3]和基于多项式的SIS[4-6].

与传统图像秘密共享方案相比，渐进式重构图像秘密共享方案(progressive secret image sharing, PSIS)提供了一种不同的图像恢复模型.在PSIS方案中，秘密图像可以通过增加影子图像逐步进行重构.PSIS中的重构模型适用于将图像分割成不同重要性等级的多个区域，具有较高重要级别的区域需要更多影子图像来重构.目前对PSIS的研究已经取得了丰富的研究成果.文献[7-9]是基于视觉加密技术的PSIS方案.文献[7-8]是(2,n)门限的PSIS方案，其中2～n个影子图像可以逐渐地恢复出原始图像信息，文献[9]将(2,n)门限PSIS方案扩展为适用于一般情况的(k,n)门限PSIS方案.Wang等人[10]首次提出了基于多项式的PSIS方案，这是一个(2,n)门限PSIS方案.Yang等人[11]将文献[10]中的方案扩展为通用的基于多项式的(k,n)门限PSIS.文献[12-13]分别构造了2种基于多项式的(k,n)门限PSIS方案，能够满足渐进式重构中的平滑性这一性质.近年来也出现了基于其他实现方法的PSIS方案，例如文献[14]是基于GEMD(gener-alized exploiting modification direction)数据隐藏方法构造的(k,n)门限PSIS，文献[15]是基于布尔运算的(k,n)门限PSIS方案.这些方案都可以重构出无损的原始图像，但影子图像尺寸都相对于原始图像有所扩大.具有重要影子图像的图像秘密共享方案(secret image sharing with essential shadow, SISE)是另一种类型的SIS方案，也适用于具有多个区域的图像的信息保护.在这种类型的SIS方案中，所有影子图像被分为重要影子图像和普通影子图像，其中在图像重构中重要影子图像的权重比普通影子图像的权重更大，起到的作用更重要.在2013年首次提出了SISE方案[16].在该方案中，普通影子图像的大小比重要影子图像大，这样的设计方案不是很合理.文献[17-18]构造了重要影子图像尺寸大于普通影子图像的SISE方案，对文献[16]中的这一问题进行了修复.Li等人[19]构建了一个新的SISE方案，当所有重要的影子图像参与重构时，可以重构原始图像.Liu等人[20]将PSIS和SISE结合在一起并提出了一种新的SISE方案，该方案可以根据增加重要影子图像来逐步重构出图像.

对图像按照所包含内容重要性的不同进行图像区域分割是PSIS和SISE这2种方案的基础.传统的图像分割是通过人工方法进行的.然而，当图像数量较大或者图像内容复杂时，这种基于人工图像分割的方法效率很低.深度学习中的卷积神经网络(convolutional neural network, CNN)近年来在图像识别和分类方面取得了巨大成就.在CNN模型基础上，多个网络模型相继被提出，并且应用到图像识别与分割上来，如区域卷积神经网络(region CNN, RCNN)，Fast RCNN等.Ren等人[21]构建了一个Faster RCNN，它是一个真正意义上的端对端的目标网络模型，总体实现方式继承自RCNN，最大的改进是废除了选择性搜索算法.传统算法简单地在CNN前面加上一个专门候选区域生成网络，运算耗时，Faster RCNN将特征提取和候选区域生成部分融合进了一个网络模型，通过共享卷积层对各幅图片进行特征提取，特征矩阵直接在区域生成网络(region proposal network, RPN)批量生成候选区域，解决了候选框批量生成时间太长的问题.同时，采用RPN批量生成候选区域，也是该算法主要的创新点之一，可以减少冗余的候选框，与以前的算法相比，基于CNN的算法对于不同环境，如光照变化、运动模糊和透视失真，具有更强的鲁棒性.近年来，更快RCNN已经被广泛地应用到图像识别和分类中.例如Sa等人[22]在水果检测中采用更快RCNN和转移学习，取得了良好的效果.Le等人[23]提出了一种多尺度RCNN来检测驾驶员在驾驶汽车时是否使用手机.近些年Faster RCNN工具愈发成熟，已经广泛地应用到安全监测、具有上下文感知的行人监测、基于试图的步行跟踪等[24-26].

本文旨在利用深度学习算法来扩展和提高图像秘密共享的实用价值.首先采用Faster RCNN将1幅秘密图像分割成多个不同重要等级的区域，然后在此基础上构造基于多项式的PSIS和SISE方案.当使用PSIS时，图像中安全等级较高的区域需要更多的影子图像去重构；当使用SISE时，重要影子图像在重构每个区域上比普通影子图像具有更大的权重.由于Faster RCNN具有较高的检测精度和较快的检测速度，因此在提出的方案中能够处理大量复杂的图像分割任务；另一方面，PSIS和SISE为图像重构提供了更加灵活多样的模式，本文提出的方案能够扩大应用背景，提高SIS的实用性.

1 相关知识

1.1 基于多项式的SIS,PSIS,SISE方案

基于多项式的(k,n)门限SIS方案主要包括影子图像生成阶段和图像重构阶段.在影子图像生成过程中，1幅秘密图像O被加密成n个影子图像S1,S2,…,Sn，并且发送给n个用户；在图像重构阶段，m个用户参与图像重构，当m≥k时，原始图像O可以被重构，否则不行.现介绍方案1为：

方案1.基于多项式的(k,n)门限SIS方案.

1) 影子图像生成

① 将秘密图像O划分为l个不重叠的分组B1,B2,…,Bl，每个分组包含k个不同的像素；

② 每个分组图像Bj,j∈[1,l]中含有k个像素aj,0,aj,1,…,aj,k-1，用k个像素构建一个k-1次多项式:fj(x)=aj,0+aj,1x+aj,2x2+…,+aj,k-1xk-1；

③ 根据多项式fj(x)可计算出n个份额，vj,1=fj(1),vj,2=fj(2),…,vj,n=fj(n),j∈[1,l]；

④n个影子图像是Si=v1,i‖v2,i‖,…,‖vl,i,i=1,2,…,n.

2)
图像重构

① 假设m个影子图像是S1,S2,…,Sm(m≥k)，利用拉格朗日插值公式恢复多项式：

fj(x)=aj,0+aj,1x+aj,2x2+…,+aj,k-1xk-1，j=1,2,…,l；

② 根据fj(x)中的k个系数可恢复分组图像Bj，重构图像O=B1‖B2‖,…,‖Bl‖.

很明显方案1满足(k,n)门限特性：k个或更多影子图像可以重构整个图像；少于k个影子图像得不到关于秘密图像的任何信息，并且每个影子图像的大小是原始图像的1/k倍.

(k,n)门限PSIS方案是一种特殊类型的SIS方案，它具有不同的图像重构模型，(k,n)门限PSIS的定义描述为：

定义1.(k,n)门限PSIS.一种特殊类型的图像秘密共享SIS，由影子图像生成和图像重构2个阶段组成.在影子图像生成阶段，1幅图像被加密为n个影子图像；在图像重构端，k至n个影子图像可以逐步重构出原始图像.设Om表示m个影子图像重构得到的部分图像，Rm表示Om的大小与原始图像O的大小之比.Rm满足条件：

1) 当m

2)k≤m1

SISE是另一种SIS方案，与传统图像秘密共享方案不同的是，SISE方案中所有的影子图像可以分为2类：重要影子图像和普通影子图像.在图像重构中，与普通影子图像相比，重要影子图像具有较大的权重.而大多数的SIS方案，图像重构中每个影子图像具有相同的权重.然而，在许多应用程序中，参与者具有不同的权限.因此，SISE是一个很重要的方案，它可以提高SIS方案的实用性.(k,n)门限SISE方案的定义描述为:

定义2.SISE方案.一种特殊类型的SIS方案，由影子图像生成和图像重构2个步骤组成.在影子图像生成阶段，所有的影子图像分为s个重要影子图像和n-s个普通影子图像；在图像重构阶段，m个影子图像(包括h个重要影子图像和m-h≤k个普通影子图像)参与重构，则图像重构由2个条件决定:

1) 当m

2) 当m≥k(h≥0)时，图像可以被重构.

1.2 Faster RCNN

基于CNN的网络模型近些年在图像识别和分类方面得到了持续的变化和发展.其中RCNN使用选择性搜索算法(selective search, SS)在每幅图像中提取大约2 000个候选框，随后将所有候选框内的图像缩放到固定大小(227×227像素)并进行归一化处理，再将处理后的每个候选区域单独输入到CNN中提取特征，最后使用支持向量机(support vector machine, SVM)分类器对CNN所提取的特征进行分类.RCNN的整个过程涉及到大量的重复操作，提取的所有目标候选区域都必须通过CNN模型进行特征学习，也需要占用大量的内存.随后，采用感兴趣区域(region of interest, ROI)池化层代替空间金字塔池化层(spatial pyramid pooling, SPP)，让所有卷积层参数均可以在训练时更新，进而提高目标检测准确率，该网络结构被称为Fast RCNN.同样地，该网络对图像只进行1次特征提取，随后将特征图像输入到ROI池化层进行区域归一化处理得到固定大小的特征，最后将所得到的特征分别输入到2个全连接层中分别进行目标分类和利用回归模型进行边框位置和大小的微调.为了解决SS算法产生候选框多而且耗时的问题，在Fast RCNN的基础上提出一种采用全卷积网络(fully convolution networks, FCN)构成的RPN代替SS算法来自动生成候选区域.这个新的候选区生成网络对每张图像只产生300个候选区，而且在生成候选区域时耗时可以忽略不计，所以能明显地缩短处理时间.该卷积网络结构进行目标检测的流程与Fast RCNN相似，不同之处在于生成候选区域部分.首先将图像输入主干网络提取特征，随后将特征图像输入到RPN中生成候选区域，最后结合所生成的候选框以及特征图像输入到检测网络中进行目标检测.Faster RCNN由2个模块组成：RPN候选帧提取模块和Fast RCNN目标检测模块.Faster RCNN通过共享卷积特性和交替训练，将RPN模型和Fast RCNN统一在一个深度网络框架中.Faster RCNN如图1所示:

Fig. 1 Faster RCNN图1 Faster RCNN

2 研究目的

近年来图像信息保护已经成为重要的研究课题.SIS提供了一种有效的方法，用来在多个参与者之间保护图像信息.CNN模型在图像目标识别和分类方面取得了巨大的成就.因此，本文旨在将SIS和CNN结合起来，提高SIS的实用性.

在传统的SIS方案中，秘密图像没有根据图像内容对其进行分割.在图像重构过程中，一组影子图像要么可以重构整个图像，要么根本得不到关于图像的任何信息；或一些图像被分割为不同的区域，但是不同区域的重要性程度没有讨论.事实上，图像的不同区域具有的重要程度不同，重要程度越高的区域重构时需要的门限越高，这样看来是比较合理的.因此，首先需要根据图像的重要程度将其分割成不同的多个区域.Faster RCNN的区域分割和目标检测效率很高，本文在图像分割工作中就采用了该模型.然后在基于Faster RCNN的图像分割基础上，提出了一种(k,n)门限PSIS方案，该方案表示重要程度越高的区域所需的重构门限越高.另一方面，不同的参与者拥有不同的权限.为了将这一特点扩展到SIS方案中，我们提出了一种融合了SISE和PSIS特性的SIS方案，其中所有的影子图像都被划分为重要影子图像和普通影子图像.在图像重构过程中，不仅可以逐步重构图像，而且重要影子图像比普通影子图像具有更大的权限.本文所设计的研究方案如图2所示：

Fig. 2 PSIS and SISE based on Faster RCNN image segmentation图2 基于Faster RCNN图像分割的PSIS和SISE

Fig. 3 Two image segmentation models图3 2种图像分割模式

3 解决方案

本文提出的方案包括2个阶段：1)使用Faster RCNN进行图像分割；2)在分割后的图像上构造PSIS和SISE方案.首先以整幅图像为输入输出，对该图像使用Faster RCNN分割成不同的区域，每个区域的重要程度不同；在分割后的图像上构造了PSIS和SISE方案，增强了SIS方案的实用性.

3.1 基于Faster RCNN的图像检测与分割

本文中使用的Faster RCNN的架构如图1所示.该Faster RCNN由2个模块组成：RPN候选帧提取模块和Fast RCNN目标检测模块.RPN和Fast RCNN共享由基本卷积网络提取的相同输入的特征图.RPN的功能是根据特征图生成提议.利用基本卷积网络从整个图像中提取512维特征图.利用Fast RCNN对RPN检测到的目标提案来进行分类.它以整个图像和一组对象提议作为输入，每个对象提议都根据特征映射到感兴趣的区域.然后，ROI池化层使用最大池化将特征转化为7×7的固定空间范围.将7×7特征向量输入到一个全连接层序列，最终将其分支为2个输出层Softmax结果和边界框回归结果.而在本文中所提出的Faster RCNN就是使用ImageNet预训练模型初始化得到的.图3显示了一个使用Faster RCNN进行图像分割的结果示例.图3(a)是一个基于普通分割的图像分割模型，每个局部图像大小相同，但重要程度不同.该模型适用于以往的PSIS方案;图3(b)是基于RCNN的快速图像分割，其中每个局部图像的大小和重要程度均不同.

3.2 PSIS和SISE

当使用Faster RCNN将图像分割成多个区域时，根据图像分割的结果构造基于多项式的PSIS和SISE方案.假设秘密图像O被分割成u个非重叠区域Oi,i=1,2,…,u其中Oi的重要性级别(表示为LOi)满足Lu>Lu-1>…>L1，相应地PSIS和SISE方案分别描述为：

方案2.(k,n)门限PSIS方案.

1) 影子图像生成

① 秘密图像O被分割为u个区域O1,O2,…,Ou，其中参数k和n满足n-k+1=u；

② 对于区域Oi,i=1,2,…,u，使用方案1中影子图像生成算法生成n个子影子图像vi,1,vi,2,…,vi,n，这n个子影子图像的门限是k+i-1；

③n个影子图像Si,i=1,2,…,n，Si=v1,i∪v2,i∪…∪vu,i.

2)
图像重构

① 假设m个影子图像是S1,S2,…,Sm(m≥k)，对于每个区域Oi,i=1,2,…,u，从生成的n个子影子图像中取m个子影子图像vi,1,vi,2,…,vi,m，使用方案1中的图像重构算法去恢复Oi；

② 重构的部分图像是Om=∪Oi，其中区域Oi为被恢复的部分区域.

定理1是对方案2的证明.

定理1.方案2是(k,n)门限PSIS方案，其中k到n个影子图像可以逐渐重构图像，并且少于k个影子图像不能获得关于图像的任何信息.

证明. 在方案2中，每个影子图像Si由来自u个区域O1,O2,…,Ou的u个子影子图像组成.另一方面，n个子影子图像vi,1,vi,2,…,vi,n是使用方案1中的影子图像生成算法生成的，用于重构Oi的门限是k+i-1.因此，任何k+i-1或更多的影子图像都可以重构区域O1,O2,…,Oi，小于k个影子图像不能获取到每个区域Oi的任何信息.由于参数满足n-k+1=u，因此k到n个影子图像可逐渐重构图像O=O1∪O2∪…∪Ou.显然，提出的方案2满足(k,n)门限PSIS的定义.此外，由于这些区域具有不同的重要性等级Lu>Lu-1>…>L1，具有较高重要性等级的区域需要较高的门限去重构它.

证毕.

方案3是一个(k,n)门限SISE方案，图像被分割成多个区域，同时该方案结合了渐进重构的特性.在方案3中，所有的影子图像都被划分为s个重要影子图像和n-s个普通影子图像.在图像重构过程中，重要影子图像比普通影子图像具有更大的权重，同时重要性级别较高的区域要求更高的门限值.方案3还采用了分割后的图像O=O1∪O2∪…∪Ou作为输入.

方案3.(k,n)门限SISE方案.

1) 影子图像生成

① 秘密图像O被分割为u个区域O1,O2,…,Ou，对于区域Oi使用方案1中的影子图像生成算法生成n+q(q≥0)个中间子影子图像：vi,1,vi,2,…,vi,n+q，门限为k；

② 重要影子图像ESi是：

ESi=Si∪v2,n+q1∪v3,n+q2∪…∪vu,n+qi,q1≠q2≠…≠qi；

③普通影子图像是：NSi=Si=v1,i∪v2,i∪…∪vu,i.

2)图像重构

①m个影子图像S1,S2,…,Sm，由h个重要影子图像和m-h个普通影子图像组成；

② 对于每个区域Oi,i=1,2,…,u，取m个子影子图像vi,1,vi,2,…,vi,m来恢复Oi.

③ 重构的部分图像为Om=∪Oi，其中区域Oi为被恢复的部分区域.

所提出的方案3的性质总结在定理2中.

定理2.在方案3中，任何小于k个影子图像的集合，不会得到原始图像的任何信息.而任何k个(包含h≥0个重要影子图像)影子图像可以恢复出原始图像.

证明. 方案3使用方案1的影子图像生成算法算法生成n+q个中间子影子图像，门限值k.因此，少于k个中间影子图像无法恢复出任何信息.在方案3中，任何k个影子图像(其中包含h≥0个重要影子图像，m-h≤k个普通影子图像)都可以逐步重构出秘密图像.假设有m个影子图像参与重构，其中包括h个重要影子图像(m=k,s≥h≥0).所有影子图像的门限为k，根据定理2，k个影子图像可以重构图像O.当参与的重要影子图像的数量从0变为h时，普通影子图像的数量相应地从k变为k-h，因此可以逐步重构图像O=O1∪O2∪…∪Ou.

证毕.

因此，所提出的方案3和方案2相比具有更大的实用性.对于方案2，在图像重构过程中，需要的门限值也就越高，在现实生活中，参与重构的人需要越来越多，显然很不方便且有一定难度.而对于方案3来说，重构图像过程中只需要k个影子图像，这k个影子图像包含了重要影子图像和普通影子图像2种，所以相对来说方案3更为实际和方便.

所提的方案3具有2个性质：1)重要影子图像比普通影子图像具有更大的权威性；2)在图像重构中，随着重要影子图像的增加，原始图像逐渐被重构.

3.3 创新性与下一步研究目标

本文的研究具有一定的创新性，同时也存在不足.创新点有：1)首先将Faster RCNN与图像秘密共享相结合；2)在图像秘密共享方案中，将图像信息按照内容不同划分为不同区域，每个区域具有不同的安全等级.不足在于：1)在方案2中，我们对于参数(k,n)的设置不够灵活；2)方案3中，我们只考虑将参与者分为权限不同的2类，但是在现实中参与者的权限种类可能会多于2类.所以在后续的工作中，我们将以参数灵活的图像秘密共享以及更一般化的多权限图像秘密共享为下一步的研究目标.

4 实验结果和分析

本文的研究可以应用于许多环境.在本文的实验中，首先对车辆信息图像进行了测试，并构建了相应的PSIS和SISE方案来保护秘密图像.Faster RCNN的训练需要大量的数据.本实验使用的数据来源有2种：KITTI数据集和在实际交通环境下采集的车辆图像.实验中使用KITTI数据集作为模型的训练数据，并利用实际采集的数据对训练后的模型进行评估.KITTI数据集中的图像来自真实生活场景，包括7 481张训练图像.每个图像中不同规模的车辆数量可以多达12辆，以及不同级别的遮挡和分离.注释信息也非常丰富，包括目标的类型、是否被分离、遮挡、角度值、2D和3D边界框，以及与人、车等相关的类别.实际采集到的车辆图像有500幅，包括晴天、多云、雨天、等各种场景.它们可以反映模型在实际应用中需要处理的问题.

本实验是在基于GPU的高速计算平台的caffe框架下实现的.

为了说明Faster RCNN在图像检测和分类方面实验效果更好一些，该实验将Faster RCNN的实验结果与表1和表2中其他基于CNN的模型进行了比较.

Table 1 Introduction of Four Models Based on CNN表1 4种基于卷积神经网络模型的介绍

Table 2 Comparison of Different Models Detection Performance表2 不同模型检测性能的比较

在分段图像上给出PSIS和SISE方案的示例.将图3的图像用于示例中，其中整个图像O被分割成u=4个区域O1,O2,O3,O4，并且重要性级别满足L4>L3>L2>L1.

在此图像上构造(k,n)门限PSIS时，参数k和n满足u=n-k+1.这里使用k=5,n=8，因此(5,8)门限SIS用于O1，(6,8)门限SIS用于O2，(7,8)门限SIS用于O3，(8,8)门限SIS用于O4.影子图像Si=s1,i‖s2,i‖s3,i‖s4,i，其中子影子图像sj,i由Oj生成.重构图像时，任意5个影子图像可以恢复O1，任意6个影子图像可以恢复O1和O2，任意7个影子图像可以恢复O1，O2，O3，所有影子图像可以恢复整个图像O=O1‖O2‖O3‖O4.高优先级的区域需要更多的影子图像来重构.

当对该图像进行逐步重构构造(k,n) SISE时，参数应满足u=n-k+1.这里使用参数k=4,n=7.同时影子图像中包含3个重要影子图像和4个普通影子图像.根据方案3，生成n+q(q≥0)个中间子影子图像：vi,1,vi,2,…,vi,n+q.3个重要影子图像是ESi=Si∪v2,n+q1∪v3,n+q2∪v4,n+q3,q1≠q2≠q3，i=1,2,3，其余4个普通影子图像是NSi=Si=v1,i∪v2,i∪v3,i∪v4,i.在图像重构过程中，1组4个影子图像其中4个全为普通影子图像的可以重构O1，1组4个影子图像包括1个重要影子图像3个普通影子图像的可以重构O1，O2，1组4个影子图像包括2个重要影子图像2个普通影子图像的可以重构O1，O2，O3，而每组影子图像其中包括3个重要影子图像1个普通影子图像的可以重构整个图像O=O1‖O2‖O3‖O4.

图像重构结果如图4所示，采用2种PSIS方案和2种SISE方案重构每个区域的门限如表3所示.

近年来研究者陆续提出了一些PSIS和SISE方案，在表4中，我们将提出的2种图像秘密共享方案和近些年提出的其他一些方案做出比较，从表4的数据我们可以看出，我们的方案在图像分割方法、影子图像尺寸以及图像重构计算效率方面具有一定的优势.

Fig. 4 Progressive image reconstruction on different regions图4 不同区域上的渐进式图像重构

表3 PSIS和SISE重构图像的门限比较

Table 4 Comparison Between PSIS and SISE表4 PSIS和SISE方案对比

5 总 结

本文中，将CNN模型和基于多项式的SIS方案结合起来，以增强SIS方案的应用.Faster RCNN用于将图像分割成多个区域，每个区域具有不同的重要性级别.在此基础上构造了PSIS和SISE方案.在PSIS中，重要性级别越高的区域要求较高的重构门限；在SISE中，重要影子图像比普通影子图像具有更大权威性，不同区域的重构主要取决于所涉及的重要影子图像的数量.理论和实验结果表明，Faster RCNN在图像分割方面具有较高的效率，所提出的PSIS和SISE在图像重构方面是有效的.