智能家居服务机器人视觉和听觉行为隐私识别保护与度量技术

杨观赐 胡丙齐 蒋亚汶 李杨 王阳

摘 要：智能家居环境中广泛使用摄像头、语音监听设备而存在隐私泄漏的风险，这影响人的心理状态甚至会引起心理障碍。首先，论文基于调查问卷结果分析了人们对服务机器人涉及的隐私信息的关注方面及程度;然后，分别从基于数据保护的隐私保护、基于回避工作模式的隐私识别保护、聚焦特定目标的隐私识别保护、隐私度量4个方面进行了综述，并给出了未来值得关注的几个方向。

关键词：服务机器人;机器视觉;隐私识别;隐私保护;隐私度量

中图分类号：TP181  文献标志码：A

《2017年中国机器人产业发展报告》指出[1]：截至2016年底，我国60岁以上人口已达2.3亿人，占总人口的16.7%。2021年政府工作报告在“十四五”规划目标任务概述中提出：人均预期寿命再提高1岁。随着人口老龄化趋势加快，到2035年我国老年人口将达到4亿人，如何借助现代科技发展的成果（特别是服务机器人）让老年人安享晚年，减轻因子女在外工作而无法时刻照顾家中老人的负担，是值得深入研究的课题。国务院发布的《中国制造2025》明确提出：围绕医疗健康、家庭服务、教育娱乐等服务机器人应用需求，积极研发新产品，促进机器人标准化、模块化发展，扩大市场应用的要求。针对机器人，特别是服务机器人，国内外均开展了较多的研究，如：Jibo机器人[2]，法国科技公司Blue Frog Robotics研发的Buddy机器人[3]，新松机器人自动化股份有限公司的讲解机器人[4]，北京科技大学研制的儿童玩伴机器人、表情头机器人[5]等。

2017年6月18日，国家质检总局官网发布了关于智能摄像头的质量安全的风险警示，称已检测的40批次中，32批次样品存在质量安全隐患，可能导致用户监控视频被泄露，甚至智能摄像头被恶意控制等危害。2018年1月22日，《财经》杂志以“失控的摄像头：谁在售卖你的私生活？”为题报道了“私生活正被摄像头同步直播”[6]，并指出要提高装备有智能摄像头类设备与系统的安全防护性能，从源头上最大化减少安全风险。

有研究表明：1）用于照顾老年人的智能家居系统，因其广泛使用摄像头、语音监听设备而存在隐私泄漏的风险，影响人的心理状态甚至会引起心理障碍，这是此类系统部署推广的最大障碍之一[7]。2）人需要独立的空间进行思考与行为表达（如大声唱歌、夸张地跳舞等），当一个人发现自己被偷窥或者监听时，他会立刻停止做此类事情，并且会感到非常惊恐、羞耻和屈辱[8]。很明显，一些事私下可以做，但不想让人知道。而认知科学的研究表明：心理障礙可以直接影响人们正常的生活、行为，甚至直接或间接地导致犯罪、自杀，以及其他一些危害社会治安的行为。对隐私内容有符合人心理需求反应的系统，可以改善用户体验感受。

为了全面深入地把握智能家居服务机器人视觉和听觉行为隐私保护技术，本文首先基于问卷调查的结果，扼要地分析了人们对服务机器人所涉及的隐私问题的关注方面及程度;然后，分别从基于数据的隐私保护、基于回避工作模式的隐私识别保护、聚焦特定目标的隐私识别保护、隐私度量4个方面进行了综述;最后，总结展望了未来的发展趋势。

1 问卷调查分析

为了掌握人们对服务机器人所涉及的隐私问题的关注方面及程度，课题组按照统计调查的知识，设计了服务机器人与个人隐私保护调查问卷[9]。问卷共设计了12个问题，限于篇幅不再赘述，详细内容可以查阅https：//www.wenjuan.com/s/zMRFFb2。通过在线调查的方式，共收集有效调查问卷共707份。参与调查的人员中，从性别的角度看，男性占45.40%;从年龄分布方面，<18，18～35岁，36～50岁，51～60岁和>60岁的分别占0.85%，47.52%，42.15%，7.64%和1.84%;在受教育的最高学历分布方面，初中，高中，本科（大专），硕士研究生，博士研究生及其他学历情况的占比分别是2.69%，5.23%，63.37%，18.25%，9.76%和0.71%。参与调查的人员地理位置分布方面，涉及到全国的10余个省份，具体如图1所示。这些数据表明，调查数据具有较好的分布与代表性。图2是涉及隐私信息问题的调查结果统计。

问卷调查结果表明：97.58%的参与人关心隐私检测和隐私保护问题;74.60%的调查者希望服务机器人能检测出隐私情况，如：衣服特别少的时候，停止记录这些信息，并且机器人主动调整摄像头，不再盯着使用者。当摄像头、语音监听设备获取隐私数据时，超过56.86%的参与人感觉非常不舒服。同时，出于对隐私安全的担忧，55.87%的参与人主张将所有数据保存在机器人系统或者本地磁盘，不传送到云端并将隐私数据转换为非隐私数据。

2 基于数据保护的隐私保护技术

从数据保护的角度，针对智能家居及服务机器人数据安全的问题，许多研究者采用了访问控制、密码验证等方式保护数据安全。

针对传统防火墙不能满足用户对自身网络安全管理的需求，文献[10]在分析服务和用户属性量化的基础上，提出了量化服务和角色的访问控制模型，但对于区域网络策略的冲突和冗余问题，并没有提出检测及消减的方法。为了解决智能家居环境中内网信息共享与外网连接引起的信息数据安全问题，文献[11]在家庭网络和网络提供商之间建立数据安全集线器，并使用用户匹配策略搭建隐私信息保护控制框架。虽然该框架有助于解决用户隐私问题，但随着安全集线器数据量的增加，将会造成集线器冗余，且未从用户心理的角度进行数据存储和共享。文献[12]分析了物联网架构下不同层次的安全问题，并强调应建立法律的隐私保护机制。虽然研究者建立了隐私机密认证控制机制，但是即使给数据加密进行传输，攻击者仍然可通过分析数据流来提取用户信息。文献[13]通过分析物理层的性能，运用分布式控制、决策和推理算法建立隐私保护机制，在一定程度上能防范隐私泄露问题，但是当可信任传感器的网络节点信息泄露，攻击者仍可从中获取用户信息。

就采用加密方式保护用户信息安全方面，文献[14]通过分析智能家居信息安全的特点，采用对称密码算法作为数据与接入认证的加密算法，对输入和接收设备的数据进行了加密认证，但遗憾的是作者并没有进行整个智能家居的网络攻击测试。文献[15]从智能家居系统的风险分析入手，开发隐私保护软件，该方法从应用层面上试图保护隐私信息，但对于网络连接层隐私保护的研究还有待深入。文献[16]针对智能家庭环境中移动设备和家用电器增加而导致内容共享域扩展的问题，提出了一种细粒度访问控制策略的隐私保护机制，并对内容进行加密处理。以上研究主要是通过访问权限控制、密码学技术、身份认证等技术以实现保护数据和保护隐私的目的，但数据在传输过程中一旦被入侵，则所有的信息都将被泄漏。

3 基于回避工作模式的隐私识别保护  从监控手段的多样化与协同工作方面看，当前市面上也出现了一些多传感设备协同工作以解决信息安全的产品，如：三星SmartTV2[17]，当用户将提及敏感话题时，可以使用其语音交互功能，告诉SmartTV2关闭语音监听功能。科大讯飞与如家酒店联合推出的叮咚智能音[18]，通过与叮咚进行高自由度的语音对话，客人可以实现对客房所有电器的控制以及语音的监听。通过向叮咚下达指令，就会启用对应的服务;同时，当涉及个人隐私内容时，也可以命令叮咚关闭其语音监听功能。此类系统虽然可以避免隐私敏感内容的监听，但是当突发危险情况时（如有人入侵但系统却是处于被“叫停”而没有工作的状态），会因为系统的“不作为”而失去一些重要的信息。文献[19]提出了基于改进YOLO的隐私情境检测算法，并搭建了隐私情境检测硬件平台，实现了具有隐私情境检测功能的服务机器人系统。当检测到隐私情境后，系统将调转摄像头并将摘要信息保存到文档，所提出的算法具有较好的鲁棒性。

4 聚焦特定目标的隐私识别保护

对于特定目标的识别、特别是涉及隐私内容的检测方面，为了检测出图片中的裸体内容，文献[20]通过设计裸体检测过滤机制来监控家庭儿童访问色情网站，并且使用颜色信息分区模块来描述裸露图像，采用支持向量机对图片样本进行分类，获得94.3%的识别率。针对人的动作行为，文献[21]通过研究不同动作类之间的共同模式，运用改进的稀疏编码方式识别人体动作，为分析静态动作识别提供了方法。而对于动态的人脸识别，文献[22]针对移动设备而导致相机视觉捕获设备抖动及面部移动的问题，结合光照、情境变化提出了一种卷积神经网络的人脸识别算法。针对复杂环境的语音识别问题，文献[23]提出深度神经网络激活因素类之间的相似度量方法，得到基于聽觉的Gabor特征与深度学习架构结合的一种鲁棒自识别语音算法。

为了从数据源上解决隐私泄露问题，文献[24]提出了基于近似等价转换的服务机器人视觉隐私行为识别与保护算法。此研究中，首先，将注意力模型与卷积神经网络结合，提出了融合注意力模型的卷积神经网络场景识别算法;然后，设计了基于Inception-v3和LSTM的涉隐私图像语义特征描述算法;最后，构建了将传感器信息融入到场景语义描述的机制。所实现的视觉隐私行为识别与保护系统平均隐私识别准确率和隐私场景语义描述正确率分别为91.65%和86.60%，具有良好的鲁棒性和隐私保护性能。图3是所给出的近似等价转换示意图。

针对人脸隐私保护，文献[25]基于生成式对抗网络提出了一种无监督的服务机器人人脸隐私保护方法。图4是其网络结构图。此方法训练不需要大量带标签的数据，可以生成新的面部特征替换原始图像的面部特征，独特的损失函数可以缓解模式崩塌和不收敛问题。

整体上，这些基于图像、语音认知的研究成果，从图像或者语音等数据源中获得语义上的映射关系的方法，这为将此类信息表达成不涉及隐私内容的状态成为了可能。同时，为研发具有能够检测隐私内容的服务机器人提供相关的技术基础。

5 隐私度量

针对隐私保护系统的相关度量问题，有学者研究基于Shannon信息论的通信框架，研究了隐私保护的信息熵模型及其度量方法，提出了隐私保护方法的强度和敌手攻击能力的量化测评[26]。此成果虽然可为隐私泄露的量化风险评估提供理论支持，但是其信息熵模型较为基础，其所考虑的含隐私信息主观感受的信息熵模型带有较强的随机性与主观性。为了解决内容中心网络节点的隐私泄露问题，文献[27]设计了面向隐私保护的协作缓存策略。该研究最大特点是：从信息熵的角度提出隐私度量指标，并证明了其缓存策略的合理性。虽然其仿真结果表明该策略可以增强用户隐私保护水平，但是其仿真所涉及的节点、内容规模与实际的情况相差较大，且策略并没有在实际工程中进行验证，实际应用效果还难以确定。

围绕用户轨迹隐私保护方面，文献[28]通过用带权无向图描述用户运动轨迹，并通过设计基于信息熵的用户轨迹隐私水平计算方法，形成了一种轨迹隐私度量方法。虽然此度量方法可以为用户和轨迹隐私保护方法设计者提供有价值的工具，但是却需要攻击者的背景知识，而现实情况是：绝大数情况下，无法知道攻击者的背景知识。

围绕智能家居环境中情境感知的隐私保护方面，文献[29]通过传感器网络搜集用户行踪和偏好行为，并采用信息熵理论对所搜集数据进行分析处理，得到个人行为习惯的隐私度量方法。然而，在现实生活中，很多网络攻击导致的隐私泄露行为是从信息采集的源头开始，该方法并没有在搜集数据时就保护隐私信息。围绕数据收集保护隐私问题，文献[16]提出了一种匿名发布敏感数据机制，使背景信息不能被信息攻击者作为隐私数据参考;同时，采用最大熵保护敏感隐私数据。虽然该方法从数据的收集解决了隐私信息保护的问题，但是在隐私数据传输的过程中，没有提出相应的保护机制。

6 结束语

对于隐私的界定因习俗、法规、种族的不同而有不同的内涵，学术界没有一个统一的定义，这为隐私的检测与保护带来了困难。当前的文献成果多数都是面向已经存在安全隐患、带有隐私信息的数据，并非从源头上使得数据本身不涉及隐私内容。未来，以下几个方面可能是值得关注的方向。

1）信息熵理论在衡量特定信息时具有优势，那些关于如何度量隐私信息的成果，可为因摄像头、语音设备而引起隐私泄漏风险的服务机器人从数据源头上减少甚至消灭带有强隐私信息的内容提供借鉴。虽然已有研究都并非从源头上使得数据本身不涉及隐私内容，但它们却是利用信息熵理论描述特定信息的良好示范。

2）生成式对抗网络[30]基于博弈论的二人零和博弈，利用一个生成器和一个判别器，通过对抗学习的方式来训练，从而达到估测数据样本的潜在分布并生成新的数据样本的目标，为将涉及隐私信息的图片与声音数据转化为不涉及隐私的数据提供了一种新的实现途径。

3）面向智能家居动态非结构环境中的服务机器人视觉和听觉行为隐私自主感知方法、及自主尊重用户行为隐私的多模态工作机制，尝试开发具有行为隐私认知功能的服务机器人。

4）若能获得普遍认可的隐私检测内容的方案及隐私信息保护的方案，无疑会促进有视觉、听觉等涉隐私内容的服务机器人产业的发展。结合前文问卷调查结果可知，设计符合用户心理关爱需求的、能够保护用户隐私的服务机器人产品是人们所期待的。

参考文献：

[1]和讯名家. 2017中国机器人产业发展报告权威发布，智能技术比肩欧美[EB/OL]. （2020-03-17）[2021-03-20].http：//news.hexun.com/2017-08-28/190614349.html.

[2] BUSSGANG J J，SNIVELY C. Jibo：a social robot for the home[J]. Harvard Business School Case，2015，7（16）：816-833.

[3] ROBOTICS B F. Blue frog robotics-companion and social robots[EB/OL]. （2021-01-01）[2021-03-20]. http：//www.bluefrogrobotics.com/.

[4] 新松机器人自动化股份有限公司. 讲解机器人[EB/OL]. （2018-12-05）[2021-03-20]. http：//www.issrobot.com/index.php/Home/Product.

[5] HUNG H H. 智能服务机器人设计研发与实现[D]. 南京：南京理工大学，2015.

[6] 财经杂志. 失控的摄像头：谁在售卖你的私生活？[EB/OL]. （2019-05-06）[2021-03-15]. https：//www.huxiu.com/article/230743.html.

[7] SHANKAR K，CAMP L J，CONNELLY K，et al. Aging，privacy，and home-based computing：developing a design framework[J]. IEEE Pervasive Computing，2012，11（4）：46-54.

[8] GREENWALD G. Glenn Greenwald： why privacy matters[EB/OL]. （2014-10-01）[2021-01-23].https：//www.ted.com/talks/glenn_greenwald_why_privacy_matters.

[9] YANG G C. 家用机器人与个人隐私保护的调查[EB/OL]. （2021-01-01）[2021-02-12] https：//www.wenjuan.com/s/zMRFFb2/.

[10]刘庆云，沙泓州，李世明，等. 一种基于量化用户和服务的大规模网络访问控制方法[J]. 计算机学报，2014（5）：1195-1205.

[11]ARABO A，BROWN I，EL-MOUSSA F. Privacy in the age of mobility and smart devices in smart homes[J]. IEEE Computer Society，2012，12（3）：819-826.

[12]KOZLOV D，VEIJALAINEN J，ALI Y. Security and privacy threats in IoT architectures[J]. ICST （Institute for Computer Sciences，Social-Informatics and Telecommunications Engineering），2012，3（12）：256-262.

[13]JAIN S，TA T，BARAS J S. Physical layer methods for privacy provision in distributed control and inference[J]. Proceedings of the IEEE Conference on Decision and Control，2015（36）：1383-1388.

[14]李翔. 智能家居信息安全關键技术的研究[D]. 西安：长安大学，2015.

[15]ANDREAS，JACOBSSON，MARTIN，et al. A risk analysis of a smart home automation system[J]. Future Generation Computer Systems，2016，56（10）：719-733.

[16]KIM E，KIM D Y，HUH M，et al. Privacy protected content sharing in extended home environment over Content-Centric Networking[J]. IEEE，2012（32）：648-649.

[17]RUTLEDGE R L，MASSEY A K，ANTON A I. Privacy impacts of IoT devices：a smartTV case study[C].Beijing：Peking University，2017.

[18]雷科技. 叮咚智能音響[EB/OL]. （2019-05-01）[2021-02-13].https：//www.leikeji.com/product/detail/5242.

[19]杨观赐，杨静，苏志东，等. 改进的YOLO特征提取算法及其在服务机器人隐私情境检测中的应用[J]. 自动化学报，2018，44（12）：2238-2249.

[20]SANTOS C，SOUTO E，SANTOS E. ANDImage：an adaptive architecture for nude detection in image[J]. IEEE，2015，12（56）：126-130.

[21]YAO T，WANG Z，XIE Z，et al. Learning universal multiview dictionary for human action recognition[J]. Pattern Recognition，2017，64（52）：236-244.

[22]CHAUDHRY S，CHANDRA R. Face detection and recognition in an unconstrained environment for mobile visual assistive system[J]. Applied Soft Computing，2017，53（2）：168-180.

[23]MARTINEZ A M C，MALLIDI S H，MEYER B T. On the relevance of auditory-based Gabor features for deep learning in robust speech recognition[J]. Computer Speech & Language，2017，45（56）：21-38.

[24]李中益，杨观赐，李杨，等. 基于图像语义的服务机器人视觉隐私行为识别与保护系统[J]. 计算机辅助设计与图形学学报，2020，32（10）：1679-1687.

[25]LIN J C，LI Y，YANG G C. FPGAN：face de-identification method with generative adversarial networks for social robots[J]. Neural Networks，2021，133：132-147.

[26]陈运. 信息论与编码[M]. 2版. 北京：电子工业出版社，2007.

[27]彭长根，丁红发，朱义杰，等. 隐私保护的信息熵模型及其度量方法[J]. 软件学报，2016，27（8）：1891-1903.

[28]葛国栋，郭云飞，刘彩霞，等. 内容中心网络中面向隐私保护的协作缓存策略[J]. 电子与信息学报，2015，37（5）：1220-1226.

[29]王彩梅，郭亚军，郭艳华. 位置服务中用户轨迹的隐私度量[J]. 软件学报，2012，23（2）：352-360.

[30]王坤峰，苟超，段艳杰，等. 生成式对抗网络GAN的研究进展与展望[J]. 自动化学报，2017，43（3）：321-332.

（责任编辑：曾 晶）

Abstract：There is a risk of privacy leakage caused by the ubiquitous use of cameras and voice monitoring equipment in a smart home environment，which affects peoples psychological state and even causes psychological disorders. Firstly，according to the results of questionnaire aiming at the privacy protection and social robot，this paper analyzes the focused factors and its attention degree of people that related to the privacy information caused by using social robot. Then，it summarizes four aspects：privacy protection based on data protection，privacy identification protection based on avoiding working mode，privacy identification protection based on specific target，and privacy measurement，and several potentially valuable research directions are pointed out.

Key words：social robot; machine vision; privacy identification; privacy protection; privacy measurement