多媒体技术在物理空间安全领域的应用与发展

赵军红 张卫强 郑明慧 张 萌 黄伟庆

1(中国科学院信息工程研究所 北京 100093)2(清华大学电子工程系 北京 100084)3 (中国航天系统科学与工程研究院 北京 100048)



多媒体技术在物理空间安全领域的应用与发展

赵军红1张卫强2郑明慧3张 萌1黄伟庆1

1(中国科学院信息工程研究所 北京 100093)2(清华大学电子工程系 北京 100084)3(中国航天系统科学与工程研究院 北京 100048)

(zhaojunhong@iie.ac.cn)

聚焦于以各种多媒体形式为载体的信息处理技术在物理空间信息安全中的应用，阐述了语音、图像和视频相关的信息隐藏技术、数字水印技术、信息源识别技术以及多媒体取证技术等在安全领域的应用和发展现状，并对各种多媒体处理技术在信息安全领域的交叉应用和发展趋势进行了详细讨论.

多媒体信息安全；物理空间安全；信息隐藏；语音识别；多媒体取证

目前在全球范围内信息技术迅猛发展，世界经济和社会信息化不断深入，网络与信息系统的全局性和基础性作用持续增强，对经济社会发展的影响日益加深.与此同时信息安全问题日益突出，信息安全将在更广范围、更深程度上影响经济发展、社会稳定、公共利益和国家安全，保障信息安全已然成为信息时代的重大战略课题.

物理空间信息安全指的是信息空间所关联的物理世界的安全.信息是对客观世界实际存在的信号的综合，将这些信号用传感器进行采集，然后进行处理转换为各种信息设备可以理解、存储和处理的形式.物理空间信息安全不仅需要保证用于支撑计算机和网络空间的信息传输、存储及处理的物理通道的安全，更重要的是对在物理空间所采集的源信息进行内容层面的保护，以从根源上避免信息的泄漏与破坏.

近年来，随着通信技术、网络技术的日臻完善和各种多媒体设备的快速普及与发展，人们信息交流的形式发生了巨大的变化，由传统通信形式逐步扩展到社交网络、移动互联网络及物联网等形式，信息交换的载体也由单一的电话语音和文本逐步发展为集语音、图像和视频等为一体的多媒体数据，成为目前信息的主要承载媒介.人们在随心所欲地享受着多媒体化的数字新生活的同时，与之相关的各种安全问题也随之而来，多媒体信息安全不仅关系到人们日常的生产和生活，也关系到国防建设、安全监控等国家重大战略需求，逐渐成为信息安全领域研究的重点和难点.

常见的多媒体信息攻击方式有中断、截获、篡改和伪造4种，如图1所示.这些攻击会使得多媒体数据的机密性、完整性、可用性、可控性和合法性遭到破坏.如何在这些海量多媒体数据流通的过程中基于多媒体数据的数据特点，依靠各种多媒体信息处理技术，如压缩技术、加密技术、检索检测技术等，实现通信、网络以及线下的多媒体信息的安全攻击与防护技术、管理控制和安全认证，保证多媒体信息的采集、存储、加工、传输、回放以及知识产权的安全性保护等.

本文分别从语音、图像与视频等方面讨论多媒体信息在安全领域所涉及到的处理技术，详细介绍这些技术的应用，最后展望不同多媒体形式的安全研究发展趋势.

图1 多媒体信息安全攻击类型

1 语音技术在安全领域的应用

语音是日常生活中最普遍的交流方式，是人与人交流通信的最基本的载体形式.语音在为人们提供便捷的交流通道的同时，无线截听、近场窃听、接听重录等语音安全问题仍然给个人及集体的隐私保密工作带来巨大的威胁.另外，随着4G开始逐渐普及，3G已然成为主流的今天，有语音通信功能的软件越来越多，语音短消息功能迅速得到普及.再加上网络流量价格的相对低廉，语音在IP网络上的传播也成为一种流行趋势，网络语音数据量迅速膨胀.与此相关的语音传输安全、基于语音内容的信息安全管理控制问题也愈发凸显.

近年来，语音技术得到了长足发展.其中，语音加密技术、语音信息隐藏技术等常用于语音的安全传输.语音的关键词识别技术、水印及其认证技术等常用于网络语音数据的安全传播和管理控制.在保障近距离语音的安全上，声音掩蔽技术得到广泛应用，能使得保密会议室具有防止声音泄漏的功能.除此之外，语音源识别技术是语音在信息安全领域应用最为广泛的技术.语音源识别包括主动识别和被动识别2种方式，主动识别是主动用声音触发以识别通信设备型号及状态，被动识别是根据已有语音识别其说话人、说话场景是否被编辑篡改等信息.下面我们对这些在安全领域广泛应用的语音技术进行具体介绍.

1.1 语音传输安全

为了达到秘密信息安全传输的目的，传统的方法是采用语音加密技术，将秘密语音转换为无意义的乱码.此外，也可以将各种多媒体作为载体，将秘密信息隐藏在多媒体信息中进行公开信道传输而不被人察觉，这种技术就是隐写术.由于语音数据量大并含有较多的听觉冗余，是信息隐藏常选用的载体形式之一.

语音信息隐藏的主要方法是对人耳听觉不敏感的音频参数进行修改，从而达到嵌入秘密信息的目的.根据物理声学和声学心里学的研究，听觉阈值、听觉掩蔽效应等听觉特征等常被利用进行听觉不敏感参数的确定.

语音信息隐藏的基本方法根据嵌入域的不同可大体分为2类：空域信息隐藏方法和变换域信息隐藏方法.空域信息隐藏主要方法有LSB(least significant bits)隐藏、回声隐藏、相位编码隐藏等；变换域信息隐藏主要方法有DFT域隐藏、DCT域隐藏、小波域隐藏及各种形式的压缩域如MP3压缩域隐藏等.在此基础上，近年来信息隐藏的自适应方法也大量出现，如文献[1]根据音频载体存在的相关拓扑结构，设计了一种自适应的安全隐写方案，使得隐写载体具有较高的不可感知性和不可检测性.

语音信息隐藏给秘密信息的传递提供了一条安全通道.由于需要对语音进行修改操作，因而会不同程度地影响语音质量，且修改后的语音往往对于信道失真、噪声、干扰等比较敏感.因此，在进行语音传输安全的研究和应用上，需要在安全性能如实时性、嵌入容量、鲁棒性、保密等级等方面和语音质量、设备成本等方面进行综合考虑.

1.2 语音传播管控

随着语音数据呈现指数级的增长，对这些数据进行有效的安全传播管理和控制成为迫切需求.

1.2.1 语音关键词检索技术

语音的关键词检索目标是从一句语音内容中检测定位出一个或多个目标关键词.该技术在安全领域有着广泛的应用，比如国防监听侦听系统、涉密语音信息过滤等.

一般的关键词检测系统包括关键词检出和确认2个阶段，检出阶段目标是从语音流中尽可能多地检测出候选关键词，随后在确认阶段对这些候选关键词进行置信评估.常见的系统框架包括具有高实时性的基于垃圾模型的方法[2]和可以充分利用语言模型信息的大规模连续语音识别(LVCSR)方法[3].后者由于能突破限定语音的局限而成为目前关键词领域的研究热点.LVCSR关键词检测方法的核心是大词汇量连续语音识别解码器的构建[4]，典型的解码器包括基于加权有限状态转换器(WFST)的静态网络解码器[5]和基于发音前缀树(PPT)的动态网络解码器[6].

在关键词检测中，关键词的检测精度和检测速度之间相互制约.随着深度神经网络技术在语音中的成功应用，目前的关键词检测技术的检测准确率在逐渐上升.清华大学单煜翔[4]在增加解码器的速度上做了大量的工作.在不同的应用场合下，应根据语音质量、实时性要求、词表更新方式等选择不同的关键词检测框架.

1.2.2 音频水印技术

数字水印的目的是在多媒体作品中通过隐藏标识信息以验证和确认多媒体内容.是为解决数字媒体产品的版权问题及真实性而衍生出的一个新的研究方向.

水印技术与隐写技术的目的都是信息隐藏，但是两者的应用场景不同，对性能的要求也不同.隐写技术主要是保护嵌入到载体中的秘密信息，注重的是嵌入信息的隐秘性和不可察觉性，同时要求具有较大通信容量.而水印技术主要用于保护载体本身.

水印主要分为鲁棒性水印和脆弱性水印.鲁棒性水印主要通过嵌入所有者或购买者信息进行版权标识、追踪等，要求水印具有抵御常见编辑处理、压缩和恶意攻击的能力.脆弱水印则要求媒体内容改变时，水印也相应地发生改变以能够提示宿主内容改变的情况，即要有一定的敏感性，主要用于数据完整性认证.

音频水印常见的方法有扩频水印[7-8]、时域水印[9]、变换域水印[10]、基于声掩蔽的方法[11]和基于量化的方法[12]等.

1.3 声音防护技术

在保密会议室中[13]，由于门、窗等造成的声音泄漏，往往使得窃密者可以在边界处直接人耳窃听，或者采用定向话筒、振动窃听器等专业设备进行窃听.此外，我们在进行语音交流时，往往完全暴露在周围的环境当中，造成个人的私密信息大量泄漏.

在这些场合中，往往采用噪声干扰、语音干扰技术等对声音进行防护.噪声干扰往往所需功率较大而容易暴露，且对语音降噪和语音增强处理抵抗力较弱.针对噪声干扰效果不理想的问题，在文献[14]中，提出了加入自适应预测的语音相关干扰，使得干扰效果得到改善.

另外，还可以基于声音掩蔽特性针对近端目标语音合成掩蔽声，然后叠加到近端目标语音上将其掩蔽掉，使得周围的人或设备识别不出目标语音的内容.如在文献[15]中，利用近端讲话者自身的部分语音通过时间反转变换生成掩蔽信号，从而实现了保护近端讲话者私密信息安全性的目的.在保密会议室中，门、窗等是保密防护的薄弱环节，而且由于这些建筑部件的特殊性，仅从材料、结构等方面进行隔声改进很难取得满意的效果，声掩蔽技术就能起到很好的声音防泄漏作用.利用声掩蔽技术对门、窗的缝隙处泄漏出的声音进行空气声掩蔽或振动声掩蔽，使窃听者无法辨认出泄漏信息的内容，从而可以提高保密会议室的保密性能.

1.4 语音源信息识别

语音信号包含了大量的信息，除语音所表述的内容外还包含有说话人信息、说话的场景信息、说话人的情绪(是否异常)，通信语音中还包含有通信设备的信息等.对这些信息的识别我们归纳为语音源识别.这些信息的安全监测与认证技术在安全部门调查取证、金融交易、电子侦听、智慧城市等领域都有广泛应用.语音源识别技术包括说话人识别、音频场景识别技术[16]、异常声音检测技术等.识别过程一般包括特征提取和模式识别2个阶段.

其中说话人识别技术是用来对说话人的身份信息进行识别的技术，是语音源识别技术中比较成熟且应用最为广泛的技术[17].根据应用环境不同分为说话人辨认(speaker identification)和说话人确认(speaker verification).说话人辨认是识别出在多位说话人中待测语音的说话人究竟是哪一位，而说话人确认是判断该语音的说话人是否是待检测的目标说话人.说话人识别常用特征有线性预测倒谱系数(PLP)和Mel倒谱系数，典型的分类方法如GMM-SVM方法.

随着说话人识别技术在金融交易、犯罪调查、医学等领域得到广泛应用，对说话人识别技术进行攻击的说话人伪装技术也在相应进步，使得说话人识别的应用遭遇了很大的挑战[18].说话人伪装可以通过真实变声、语音重录、语音合成和转换等多种方法实现，伪装后的声音与原声非常相像，难于区分.如何使得说话人识别系统具有抵抗说话人伪装攻击的功能是未来说话人技术研究的重点和难点.

2 图像与视频技术在安全领域的应用

视觉感知在人类感知中占据了重要的角色.据统计，人类在接收外界信息时，听觉获得的信息只占20%，而视觉获得的信息占60%.图像是最基本的视觉呈现方式，图像在时间轴上的连续播放形成视频，两者具有本质上的一致性.图像与视频具有信息量大、信息表达直观的特点.图像与视频的加密技术、数据隐藏技术以及数字水印技术等保证了其在传输和传播中的安全性，图像与视频的识别技术能够对其承载的内容进行分析理解，从而实现秘密信息的过滤、筛选和维护.图像匹配和认证技术能够对伪造图像进行检测，用于公安机关进行破案和取证.

2.1 图像与视频的传输与传播安全

与语音相似，图像技术在信息安全方面涉及的首要问题是其传输与传播安全.传输安全主要涉及图像的加密与信息隐藏技术.在传播安全方面，目前的传播主要基于互联网的单播和多播方式，其中基于多播的应用如视频会议、视频点播的版权保护及信息安全是当前一个新的研究方向.在多媒体传播中，典型的如在机密视频会议中，通过技术手段保证多播框架下的每一个参会者对视频内容的安全传播，就需要对图像与视频的水印技术进行研究[19].

除传统的图像加密技术外，近年来可视化加密技术(visual cryptography)的研究逐渐增多[20].可视化加密的主要特点是将秘密信息分布在几张图片上，解密时不需要任何复杂的计算，只依靠人的视觉就能将秘密图像恢复出来.分布的若干张图片可以是无意义或者有意义的，其中有意义的图片更具有混淆性.

视频的隐写常针对不同的视频编解码标准进行，比较前沿的如针对H.264AVC编解码标准的信息隐藏方法等[21].隐藏信息可以在编码前的原始域进行嵌入，或者在编码过程中的压缩域嵌入，也可以在压缩后的码流域中进行嵌入.隐写分析是隐写技术的对抗技术，目标是针对隐藏信息进行检测、提取、破坏或者混淆.有些隐写分析技术只针对特定的隐写算法，而有的则为通用算法.根据不同的技术特点，可以分为基于统计特征的分析和基于标识特征的分析2类算法.基于统计特征的分析常提取隐写过程中造成的数据整体统计分布的变化特征进行隐写分析，而基于标识特征的分析则是利用隐写工具在载密对象中留下的某些固有标识信息进行分析.

2.2 图像与视频的识别技术

图像与视频的识别是对其内容进行分析和理解的过程.在信息安全领域，图像识别的目标可以是出现在图像或视频中的敏感字、敏感物体、敏感人脸、敏感场景等.在海量图像数据中，图像识别技术能自动筛选出含有秘密信息的数据，是保证多媒体数据安全的支撑技术.

图像识别前端首先要对图像进行预处理，分割并提取其中的关注区域.然后对这些区域进行特征提取和模式分类.图像的特征提取一般要保证区分性和对图像的大小、位移以及旋转的不变性，常用特征如Hu矩、Zernike矩等像素统计特征，边缘、纹理特征以及变换系数特征等.常用模式分类方法如条件随机场模型(CRF)、集成学习方法等.

视频识别应用比较广泛的如对视频复杂场景中的中文字体进行识别.另外，对一些特殊内容，如恐怖视频、暴力视频等的识别研究也越来越多.与单幅图像相比，视频存在更多的时间关联性和空间变化特性，利用这些特性能对视频的内容分析理解提供很大帮助.

2.3 图像与视频的取证技术

随着各种图像和视频编辑软件的盛行以及大量新颖高效的图像与视频编辑技术的出现[22-24]，对图像和视频的篡改门槛越来越低.一般的伪造方法有数据来源信息篡改、复制剪切粘贴、拼接合成操作以及边缘模糊、涂抹等，经过这些操作往往使得篡改后的图像与真实图像相比并无二致，人眼很难分辨.恶意的虚假图像传播在当今的网络时代往往会带来较大的社会恐慌和恶劣影响.因此，当前形势下图像与视频的取证和辨伪成为一个亟待解决的社会问题.

数字媒体的取证就是对媒体数据进行来源(相机、手机型号等)辨识与篡改检测，可分为主动取证和被动取证2种方式.主动取证是在图像和视频尚未传播之前先提取或添加相关信息，以备将来认证时所用.主动取证技术主要有2种：以脆弱数字水印为基础的篡改检测技术和以哈希、数字摘要为代表的认证技术.

被动取证又被称为盲取证，是在没有任何先验防护处理的情况下，对图像或视频进行真伪辨识和来源检测.由于很难得到待检测数据的先验信息，被动取证的技术难度很大，成为近年来认证技术研究的热点和挑战.对于不同的篡改操作，取证过程往往采用不同的技术.比如，对于基本的复制粘贴操作，往往使用图像匹配方法，对2个或多个相似度较高的区域进行定位[25].目前，尚未出现一种能针对所有编辑操作都行之有效的检测取证的统一框架.

3 多媒体技术在物理空间信息安全领域的发展趋势

本文以上内容讨论了语音、图像、视频3种多媒体形式在物理空间信息安全领域的发展现状及其应用.主要涉及到的技术包括数据加密、信息隐藏、数据源识别以及取证技术.接下来我们进一步对多媒体信息在物理空间信息安全领域的发展趋势进行讨论，主要分为各种多媒体形式自身在信息安全领域的发展、各种多媒体形式之间的相互交叉在信息安全领域的应用拓展，以及多媒体与光、电磁等其他信息载体之间的交叉应用3个方面分别讨论.

3.1 各种多媒体形式在信息安全领域的发展

在传输与传播安全方面，数据隐藏技术是近年来比较新的一个研究课题，在图像方面率先取得一定进展，在音频和视频方面的研究相对比较薄弱，是今后发展的重点和难点.

在源识别方面，语音的源识别是近年来比较热门的研究课题，随着深度神经网络的发展与成功应用，语音识别技术取得了很大进展.同样地，图像和视频字体识别、人脸识别、物体识别等的技术也正在大数据驱动和深度学习方法的促进下快速发展.

近年来，多媒体取证技术的应用需求越来越多，公安部门和检查机关的调查取证工作越来越依赖于多媒体技术的帮助，而被动盲取证技术的需求占了主要部分，是今后发展的重点和难点.

3.2 不同多媒体形式的交叉结合

除了各种多媒体形式自身技术的发展外，不同多媒体形式之间的交叉研究及应用是今后发展的一个新的趋势.不同多媒体形式的交叉结合会对信息安全的发展空间起到拓宽增强作用.典型的，如在文献[26]中，Davis等人开发了可视麦克风(visual microophone)系统，用高速摄像机对由声波引起物体的震动进行录制(如图2所示)，并对视频中物体的微小震动信号进行提取和分析，最终恢复出声音(如图3所示)，从而取代激光等专业设备，实现仅用摄像机等常见多媒体设备对室内语音的窃取.

图2 可视麦克风系统流程[26]

图3 可视麦克风的数据采集场景[26]

该系统是视频处理技术和音频处理技术相结合而产生的信息安全领域新应用的典型，不仅能提升多媒体安全攻击的应用范围和性能，也能对传统的信息安全防护策略起到推动作用.具体地，既然物体的微小震动能使得信息发生泄漏，我们在采取信息安全保护措施，如构建保密会议室时，就要对一些结构材料的震动性能进行评估.另外，在视频数据中也要对这些肉眼不可见的隐含信息进行干扰消除等，使得秘密信息的安全得以保证.

不同多媒体形式的交叉能够实现新的信息安全攻防策略，使得多媒体信息的攻防更加具有灵活性和鲁棒性.

3.3 多媒体与光、电磁等其他信息载体的交叉结合

常见的信息载体形式除了语音、图像、视频信号之外，还有电磁信号、光信号等.在信息安全研究及应用中，多媒体处理技术与电磁信号和光信号处理技术的交叉结合一方面体现在系统的前端，另一方面也体现在后端信号处理方法上的共同点和通用性上.例如，在预防电磁泄漏方面，往往可以利用人眼对快速切换的视频帧的视觉平均效应，在系统前端将秘密信息进行图像的加噪拆分处理，使得电磁泄漏信息不能被复原[27].

另外，电脑等电磁设备的电磁泄漏信号往往能被侦查系统捕捉和重构，以图像或视频的形式复原出来，这些复原信号由于受到环境噪声或信道衰退的影响往往视觉效果很弱，这时就需要利用多媒体技术对图像或视频中的截获信息(文字等)进行增强[28], 丁雪洁等人在这方面做了大量工作，增强前后的对比结果如图4所示，可以看出增强后的文字信息取得了更好的可视性.

图4 电磁泄漏重构信号的增强

在后端信号处理上，以源识别为例，语音和电磁辐射信号都能进行手机源检测[29-31]，利用不同手机输出的声音或者电磁辐射信号的差异进行手机型号等信息的判断.两者都要对输出信号进行特征提取和后端模式分类，有非常相似的处理过程，可以相互借鉴，进行交叉研究.

4 结 论

多媒体处理技术目前已经在物理空间信息安全保护与监控方面得到了广泛的应用.其不仅在语音、图像和视频等传统的信息安全领域承担着重要的角色，更随着物联网技术推动下物理空间与信息空间不断融合的趋势，呈现出与声、光、电磁等物理世界的多源异构信号的交叉结合的新方向.未来，多媒体技术将在以上方面进一步结合深度学习方法等相关技术的研究，在信息安全领域发挥更加关键的作用.

[1]Ding Xuejie, Huang Weiqing, Zhang Meng, et al. A topography sturcture used in audio steganography[C]Proc of the 41st IEEE Int Conf on Acoustics Speech and Siganl Processing. Piscataway, NJ: IEEE, 2016

[2]郑方. 连续无限制语音流中关键词识别方法研究[D]. 北京: 清华大学, 1997

[3]Weintraub M. LVCSR log-likelihood ratio scoring for keyword spotting[C]Proc of the IEEE Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 1995: 297-300

[4]单煜翔. 高效大词汇量连续语音识别解码算法研究与工程化实现[D]. 北京: 清华大学, 2012

[5]Mohri M, Pereira F C N, Riley M. Speech recognition with weighted finite-state transducers[M]Handbook on Speech Processing and Speech Communication, Speech recognition, Part E. Berlin: Springer, 2008

[6]Young S, Evermann G, Gales M, et al. The HTK Book, 3.4[M]. London: Cambridge University Engineering Department, 2009

[7]Cox I J, Kilian J, Leighton F T, et al. Secure spread spectrum watermarking for multimedia[J]. IEEE Trans on Image Processing, 1997, 6(12): 1673-1687

[8]Alkhraisat H. Digital watermarking of MP3 file using psychoacoustic auditory model and FH SSMF SK[C]Proc of the IEEE Int Conf on Advances in Human-Oriented NAD Personalized Mechanisms, Technologies, and Services. Piscataway, NJ: IEEE, 2010: 77-82

[9]Bassia P, Pitas L, Nikolaidis N. Robust audio watermarking in the time domain[J]. IEEE Trans on Multimedia, 2001, 3(2): 232-241

[10]Ravula R, Rai S. A robust audio watermarking algorithm based on statistical charecteristics and DWT+DCT transforms[C]Proc of the Int Conf on Wireless Communications, Networking and Mobile Computing. Stevenage, UK: IET, 2010: 1-4

[11]Swanson M D, Zhu B, Tewfik A H, et al. Robust audio watermarking using perceptual masking[J]. Signal Processing, 1998, 66(3): 337-355

[12]Wu C P, Kuo C C J. Fragile speech watermarking based on exponential scale quantization for tamper detection[C]Proc of the IEEE Int Conf on Acoustics, Speech and Signalprocessing (ICASSP). Piscataway, NJ: IEEE, 2002: 3305-3308

[13]苗春卫, 王思叶, 冯维淼. 保密会议室声音防护技术研究[J]. 保密科学技术, 2011, 5: 26-30

[14]张雨, 陈莹莹, 高勇. 基于自适应预测技术的语音相关干扰[C]促进中西部发展声学学术交流会议论文集. 上海: 声学技术杂志编辑部, 2008

[15]王国营. 语音掩蔽系统的研究[D]. 北京: 北京交通大学, 2014

[16]Mmalik H. Acoustic environment identification and its applications to audio forensics[J]. IEEE Trans on Information Forensics and Security, 2013, 8(11): 1827-1837

[17]Zhang Weiqiang, Zhao Junhong, Zhang Wenlin, et al. Multi-scale kernels for short utterance speaker recognition[C]Proc of the Chinese Spoken Language Processing (ISCSLP). Piscataway, NJ: IEEE, 2014: 414-417

[18]Wu Z Z, Evans N, Kinnunen T, et al. Spoofing and countermeasures for speaker veryfication: A survey[J]. Speech Communication, London: Elsevier, 2015, 66: 130-153

[19]Podilchuk C I, Zeng Wenjun. Image-adaptive watermarking using visual models[J]. IEEE Journal on Selected Areas in Communications, 1998, 16(4): 525-539

[20]Liu Bin, Martin R R, Hu Shimin. Structure aware visual cryptography[J]. Proceeding of Computer Graphics Forum, 2014, 33(7): 141-150

[22]Zhang Fanglue, Wang Jue, Shechtman E, et al. PlenoPatch: Patch-based plenoptic image manipulation[J]. IEEE Trans on Visualization and Computer Graphics (TVCG), 2016, 99

[23]Zhang Fanglue, Cheng Mingming, Jia Jiaya, et al. Image admixture: Putting together dissimilar objects from groups[J]. IEEE Trans on Visualization and Computer Graphics (TVCG), 2012, 18(11): 1849-1857

[24]Zhang Fanglue, Wang Jue, Zhao Han, et al. Simultaneous camera path optimization and distraction removal for improving amateur video[J]. IEEE Trans on Image Processing, 2015, 25(12): 5982-5994

[25]Christlein V, Riess C, Jordan J, et al. An evaluation of popular copy-move forgery detection approaches[J]. IEEE Trans on Information Forensics and Security, 2012, 7(6): 1842-1853

[26]Davis A, Rubinstein M, Wadhwa N, et al. The visual microphone: Passvie recovery of sound from video[J]. ACM Trans on Graphics, 2014, 33(4): 79-89

[27]Watanabe T, Nagayoshi H, Urano T, et al. Countermeasure for electromagnetic screen image leakage based on color mixing in human brain[C]Proc of the IEEE Int Symp on Electromagnetic Compatibility. Piscataway, NJ: IEEE, 2010: 138-142

[28]Ding Xuejie, Zhang Meng, Shi Jun, et al. A novel post-processing method to improve the ability of reconstruction for video leaking signal[C]Proc of the 17th IEEE Int Conf on Information and Communications Security (ICICS 2015). Piscataway, NJ: IEEE, 2015

[29]Panagakis Y, Kotropoulos C. Automatic telephone handset identification by sparse representation of random spectral features[C]Proc of the Multimedia and Security. New York: ACM, 2012: 91-96

[30]Hanilci C, Ertas F, Ertas T, et al. Recognition of brand and models of cell-phones from recorded speech signals[J]. IEEE Trans on Information Forensics and Security, 2012, 7(2): 625-634

[31]徐艳云, 张萌. 从“棱镜门”事件看电磁信息安全[J]. 保密科学技术, 2013, 7: 19-21

赵军红

博士，助理研究员，主要研究方向为语音识别、机器学习、多媒体信息安全.

zhaojunhong@iie.ac.cn

张卫强

博士，副研究员，主要研究方向为语音与音频信号处理(语种识别、说话人识别、关键词检索、连续语音识别、固定音频检索等)、数字信号处理、机器学习等.

wqzhang@tsinghua.edu.cn

郑明慧

硕士，工程师，主要研究方向为系统可靠性分析与管控.

13811535681@163.com

张 萌硕士，工程师，主要研究方向为电磁安全.

zhangmeng@iie.ac.cn

黄伟庆

硕士，研究员，博士生导师，主要研究方向为电磁安全(电磁泄漏发射检测与信息还原、红黑信号识别)、信号处理、虚拟化安全等.

huangweiqing@iie.ac.cn

Development and Applications of Multimedia Technology in Physical Space Security

Zhao Junhong1, Zhang Weiqiang2, Zheng Minghui3, Zhang Meng1, and Huang Weiqing1

1(InstituteofInformationEngineering,ChineseAcademyofSciences,Beijing100093)2(DepartmentofElectronicEngineering,TsinghuaUniversity,Beijing100084)3(ChinaAcademyofAerospaceSystemsScienceandEngineering,Beijing100048)

This paper focuses on the applications of multimedia information processing technology in the field of physical space security．In this article, the development of speech, image and video information hiding technology, digital watermarking technology, information source identification technology and the multimedia forensics technology are introduced in detail. And the intercrossed applications and development trends of multimedia technologies in information security areas.

multimedia security; physical space security; information hiding; speech recognition; multimedia forensics

2016-01-15

中国科学院信息工程研究所“优秀青年人才”专项基金项目(1104008004);国家青年自然基金项目(61501458)

张萌(zhangmeng@iie.ac.cn)

TP309.1