基于差分隐私保护的服务机器人视觉图像发布算法

焦合军，周万春，施进发，刘晟源

1.郑州工程技术学院机电与车辆工程学院，河南郑州450044

2.华北水利水电大学机械学院，河南郑州450046

人工智能技术的飞跃发展，使得服务机器人的应用场景越来越丰富。服务机器人视觉一般具有人脸识别、位置建图、物体感知等线上功能，这些功能与用户的生活环境、兴趣相联系，容易显露用户的住址、个人信息、偏好和交际情况等隐私信息，如果这些信息被怀有恶意的攻击者利用，用户将面临相应的风险。近年来研究人员提出了多种隐私保护方法来保护线上图像，通常使用的方法包括访问控制、神经网络、隐私加密等。文献[1] 提出了一种云环境下基于隐私保护的图像搜索系统（privacy-preserving image search system on cloud,PIC）：云服务能够提供安全的大规模图像搜索和细粒度的访问控制。文献[2] 提出了一种防止人脸隐私入侵的方法，即模糊或屏蔽面部图像，该方法的有效性取决于攻击者对监控人的熟悉程度以及背景主题的显著性，并认为熟悉度和视觉隐私保护能力之间存在负相关。文献[3] 在k-Same-Net 的基础上提出了一种改进非确定性问题（non-deterministic polynomial,NP）的人脸匿名化方法。在目标身份的估计中，充分考虑了每个簇中身份与质心的特征差异，使最终的匿名化图像呈现一定程度的多样性。文献[4] 提出了一种新的虹膜图像隐私保护算法，在虹膜图像分别利用高斯机制和拉普拉斯机制以实现隐私信息的保护虹膜。最后通过图像Hash算法评估图像质量。文献[5] 针对超声影像区域提出了一种可逆隐写的医疗隐私保护方法，并使用特征选择和统计建模两种方法分析了保护方法的性能。文献[6] 提出了一种保护隐私的图像检索方案，该方案利用安全的局部二元模式（local binary pattern,LBP）特征为每幅图像生成特征向量，之后通过这些特征向量的曼哈顿距离来度量加密图像之间的相似性。

在大数据时代，差分隐私是一种有效处理隐私保护的手段，克服了基于限制发布的隐私保护技术的诸多缺点，如等价类中的敏感属性具有相似性特点、敌手拥有背景知识的过多假设等。该技术不关心单条记录的加入对整个数据集的影响，通过向查询结果添加噪声来达到隐私保护的目的。另外它建立在坚实的数学基础上，对隐私保护进行了严格的定义并提供了量化评估方法。文献[7] 基于差分隐私的发布技术目前涉及到多种数据类型，包括医疗数据、空间数据、时间序列数据、人脸图像等，然而针对服务机器人视觉图像数据几乎没有相关工作。面临的主要问题在于对机器人视觉图像增加噪声数据时，如何计算其全局敏感度以及噪声处理后的分析，以及如何保持一定的精度。

服务机器人一般具有全面陪护的功能，视觉信息覆盖面较为广泛。在隐私保护和服务机器人视觉监控方面需要达成发布协议，隐私保护的重点应该放在服务机器人的数据源上。为了保留服务机器人的更多视觉陪护信息，本文提出了基于差分隐私保护的服务机器人视觉信息发布算法，为服务机器人的视觉隐私保护提供解决方案。该算法在获取相关图像数据集函数f′(x,y) 的过程中出现两种误差[8]，一种是拉斯扰动导致的噪音误差L(f′)，还有一种是重新恢复带来的重构误差V(f′)。所以发布服务机器人图像的误差为上述两种误差之和，信息发布时应该考虑减少总体误差。本文主要贡献如下：1）为了减少服务机器人视觉图像中噪音的影响，利用离散余弦变换（discrete cosine transform,DCT）对图像进行压缩，之后对所压缩的图像添加相应的拉普拉斯噪音；2）为了减少离散余弦变换带来的重构误差，引入了一种基于梯度下降算法的低频系数选择方法，该方法通过在变换空间中选择合适的b值进行图像压缩，而且选择的b值需要满足差分隐私；3）文章提出的服务机器人图像发布方法满足ε-差分隐私。在4 种真实的室内环境上验证了本文方法的有效性。

1 理论基础

1.1 基于邻近数据集的差分隐私

服务机器人视觉图像可以理解为二维像素矩阵，像素值的变化情况体现了图像的频率。一个像素数据集D(n,w) 包括n行样本量，w为列或属性的数目。现在结合数据集D给出临近数据集的定义。

定义1临近数据集给定一个n行w列的像素矩阵

其中，dij是某个像素点的像素值，矩阵D的向量形式表示为D=(d1,d2,···,dw)，dm=(d1m,d2m,···,dnm)T，Dn×w可以理解为含有n个样本量，属性的数目为维度w，这样就可以表示为一个数据集D(n,w)。假设数据集D与D′有相同的属性结构，D(n,w) 和D′相差一个记录，则称D和D′为邻近数据集[8]。

定义2ε-差分隐私保护假设Z是一种服务机器人视觉图像发布算法，PM 为Z的输出范围，若算法Z在矩阵D和D′上的任意输出结果R(R ∈PM) 满足

那么Z满足ε-差分隐私[9]。式(1) 中，ε表示发布图像所需要的隐私保护预算，反映了隐私保护水平，其值越小，水平越高。Pr 为发布事件的概率。

差分隐私保护需要在查询的返回值中加入噪声，衡量噪声量大小的重要参数是敏感性和隐私保护预算，两个重要参数在拉普拉斯分布或指数分布的作用下产生噪声，拉普拉斯分布处理数值型结果，指数分布处理非数值型结果。敏感度有全局敏感度和局部敏感度，全局敏感度涉及了任意数据集及其邻居数据集，局部敏感度只涉及了给定数据集及其邻居数据集，本文涉及全局敏感度。

1.2 图像离散余弦变换

离散傅里叶变换（discrete Fourier transform,DFT）需要复数运算，虽然有快速变换，但实时处理方面仍然表现不足，在图像处理方面应用较少。离散余弦变换的本质是实偶函数的DFT，可以将二维图从时间域转换到频率域。以服务机器人图像的像素数据集函数f(x,y)（x=0,1,···,M-1,y=0,1,···,N-1）为例，包括M行，N列，其二维离散余弦变换为

式中：F(p,q) 为DCT 系数。离散余弦变换是可逆变换，即

离散余弦变换具有对称性，可以写成矩阵形式，这里假设行列数相等。

2 基于差分隐私的服务机器人图像处理方法

2.1 LSP 发布方法

基于拉普拉斯算子的服务机器人图像保护（laplace-based service robot image protection,LSP）方法是基于拉普拉斯噪声对服务机器人的图像数据集进行扰动，之后发布数据[10]。现提供服务机器人图像数据集D(n,w)，向量形式为D=(d1,d2,···,dw)。使用LSP 方法对向量D增加相应的拉普拉斯噪声后得到噪声向量任意列向量的表现形式为

LSP 发布方法属于ε-差分隐私，这里用期望值大小来衡量噪声误差L，统一采用误差平方和的形式进行计算。

式中：∆1D取数据集矩阵形式的最大列范数。从噪声误差的公式上看，当图像数据集样本量和属性集较大时，如果直接使用LSP 发布图像，发布结果的有效性将收到影响，为了改善有效性，本文基于离散余弦变换技术提出了几种发布方法。

2.2 基于离散余弦变换的发布方法

为了获得较小的噪声误差，本文利用离散余弦变换对服务机器人视觉图像进行压缩。给定数据集向量D=(d1,d2,···,dw)，向量的行数和列数分别是n和w，利用式(4) 对该向量进行DCT 变换。根据DCT 变换的性质可知矩阵F中的低频系数在矩阵左上角按照从大到小排序，而且下降特别快，从而引起较少的系数之和占据了全部系数之和的大部分比例。因此需要选择b个低频系数以及对应的左右向量来近似描述数据集向量D，即低频系数加上拉普拉斯噪声，形成噪声系数矩阵，基于此思路，提出DCP 方法，具体算法如下：

算法1DCP 方法

输入服务机器人图像D，隐私参数ε，参数b

输出满足ε-差分隐私的服务机器人图像

总误差和b值有密切的联系，b值越小，噪声误差越小，而重构误差越大；相反b值越大，噪声误差越大，而重构误差越小。必须选择合理的b值来均衡两种误差。因此本文基于损失函数提出一种增强型EDCP 算法，正则参数为v，损失函数为

具体实现如下：

算法2增强型EDCP 方法

输入服务机器人图像D，隐私参数ε，参数b，学习率参数γ

输出满足ε-差分隐私的服务机器人图像

算法2 中b通过引入随机梯度下降法获得，同时根据拉普拉斯噪声机制和差分隐私的原理，可以推导出定理2。

定理2LSP、DCP 和EDCP 算法符合ε-差分隐私。

3 服务机器人平台

为了验证算法的有效性，需要在服务机器人平台上进行测试。可以使用Python 以及C语言进行集成开发，该算法能处理摄像头数据并进行发布。主控制器采用X86 平台，开源视觉传感模块采用OpenMV4 H7 Cam，服务机器人主机及工作站安装了Ubuntu14.04 LTS，并配备了机器人操作系统（ROS）以及开源学习平台TensorFlow。

平台采用开源训练和测试数据集采用3 种数据集：MIT indoor 场景数据集[13]、课题组摄像头采集的数据和百度搜索的各种背景图像，为了提高差分隐私保护的鲁棒性，ε取0.1∼1.5之间不同的值，系统对应不同的ε重新训练数据从而输出相应的特征模型，最后服务机器人根据特征模型复原各种场景的图像。

4 实验与结果分析

实验以MIT 中的一个bedroom 图像为例展开验证，如图1 所示。

图1 Bedroom 原始图像Figure 1 Original image of bedroom

用LSP、DCP、SRA[14]和EDCP 对该原始图像进行发布，图2 为4 种算法的发布结果。图2(a) LSP 图像为直接添加拉普拉斯噪声后的结果；图2(b) DCP 图像在离散余弦变换中添加了拉普拉斯噪声后的结果；图2(c) SRA 图像为奇异值分解的过程中添加拉普拉斯噪声的结果；图2(d) EDCP 图像是在采用随机梯度下降算法的基础上添加了在离散余弦干扰算法结果。由图像的显示效果可知，SRA 与EDCP 两种算法的效果更好，为了进一步验证算法的泛化能力，本文采用小波包分解+LSSVM 方法来检验这4 种方法。

图2 Bedroom 加噪图像Figure 2 Adding noise images of bedroom

MIT indoor 数据集有67 种室内场景，共有15 620 幅图像，每种场景至少有100 幅。图像涉及餐厅、厨房、医院、幼儿园、办公室、餐厅等，结合家庭环境，选择卧室、厨房、卫生间和客厅4 种场景的图像各50 幅，另外从网络和现实的照片中提取出上述4 种场景各50 幅，这样就构成了4 种场景的原始数据集，利用其中70% 组成训练数据集、30% 组成测试数据集，训练和测试数据集之间无交叉样本。需要强调的是：根据原始数据集的划分经验，这里分别使用80%、10% 和10% 的比例组成训练集、验证集和测试集有不错的表现[14]。选择较多的训练数据可以增强机器学习模型的泛化性，所以本文选择原始数据集80%的数据组成训练数据集。

实验采用的图像识别方法是小波分解+LSSVM，通过下列步骤实现：首先，读取训练数据集，采用小波分解并去除数据上的噪声；其次，采用LSSVM 训练器对数据集进行训练，随后读取测试数据并对其小波分解；再次，采用LSSVM 所产生的分类函数对测试数据集分类[15-16]，并从查准率、召回率以及F1-Score 来验证分类的正确性。隐私预算ε分别为0.3、0.5、1.0、1.8。实验结果如表1∼3 所示。

表1 查准率Table 1 Precision %

表2 召回率Table 2 Recall %

表3 F1-ScoreTable 3 F1-Score %

从表1∼3 可以看到，随着ε从0.3 增加到1.8，查准率、召回率和F1-Score 的值均在增加，因为噪声误差和隐私预算呈反比例关系。当ε=0.3 时，EDCP 算法在bedroom 数据集的查准率是LSP 的3 倍，比DCP 算法大24%，比SRA 算法大3%，在dining room 数据集上是LSP 的2 倍多；EDCP 算法在dining room 上的召回率是LSP 的2 倍，在bathroom 数据集上是LSP 的1 倍多；EDCP 算法在bathroom 数据集上的F1-Score 是LSP 的2 倍多，在living room 上比LSP 比例值大39%。另外，当ε分别是0.5、1.0、1.8 时EDCP 和EMK 同样优于LSP 和DCP 算法。

从整体上看，living room 数据集的识别率较高，dining room 数据集的识别率比较低，这与内部面积和图像中实物整体性缺失有一定的关系。通过对比4 种算法可知，增强离散余弦变换法EDCP 和矩阵分解SRA 两种算法的查准率对比其他两种算法表现更好[17-18]。通过比较不同的隐私预算，对4 种算法来说，依然是EDCP 和SRA 所产生的实验结果比较稳定，并且EDCP 算法表现最好。

5 结语

本文提出了服务机器人的图像发布算法，采用离散余弦变换对图像进行处理，利用拉普拉斯机制与梯度下降原理扰动变换过程，在保持图像可用性的同时，相较于直接添加拉普拉斯噪声，DCP、SRA、EDCP 算法能较好地完成图像压缩，降低了噪声的影响程度。特别是本文采用的EDCP 算法能较合理地选择离散余弦变换系数的数目b，从而均衡了拉普拉斯和重构误差。

由于服务机器人图像识别和图像发布有密切的联系，如何在图像识别中建立差分隐私保护机制，并依据这一机制开展个人隐私保护工作，关系到服务机器人的图像泛化。下一步将在图像识别方面完善训练集，使得视觉处理更有鲁棒性。