数字视频篡改被动认证研究的若干进展

庄景晖



数字视频篡改被动认证研究的若干进展

庄景晖

（漳州职业技术学院 计算机工程系，福建 漳州 363000）

介绍了数字视频被动认证中四种主要篡改方式的检测原理，对这四种篡改方式的已有研究成果进行归纳，说明当前研究出现的困难和问题，并探讨了本领域未来的研究方向。

多媒体认证；视频篡改；被动认证

1 引 言

随着多媒体技术的快速发展，特别是各种功能强大的图像、视频编辑软件的开发，使得非专业人员也能够很容易通过这些编辑软件对图像和视频进行编辑修改，这就导致了众多经过恶意篡改的图像视频传播开来，国内比较有影响的如2007年陕西周老虎事件，2012年深圳飙车案监控视频疑遭篡改案。为此，正确地鉴定图像和视频的真实性、完整性、来源性已经成为多媒体安全领域的一个重要课题。

多媒体认证具有主动认证和被动认证二种方式。主动认证是在媒体上嵌入验证信息，通过检验信息是否发生改变而确定是否发生篡改，常用的技术有数字签名和数字水印；被动认证则通过检测媒体自身信息确定是否发生篡改，相比而言，多媒体中图像被动认证由于研究起步的较早，在研究上的成果远远大于视频被动认证。

2000年，Bijan G. Mobasseri等人发表了有关视频篡改的第一篇论文[1]，2001-2005年国内外基本上没有相关的研究成果，直到2006年国外研究者才开始逐步发表相关研究成果，最开始的研究是Dartmouth大学的Hany Farid教授带领的研究团队。国内最早公开发表的视频篡改论文是2008年王俊文发表的题为“基于模式噪声的数字视频篡改取证”的论文[2]，笔者通过中国知网统计国内视频篡改被动认证相关论文至今也只有20多篇，国外通过GOOGLE学术查询相关论文比国内更多，但也只有数十篇而已。综合而言，有关视频篡改被动认证的研究工作在国内外尚处于起步阶段。在国内，福建师范大学的黄添强教授团队和天津大学的苏育挺教授团队走在研究的前沿。

本文在分析国内外有关视频篡改被动认证17篇论文的基础上，对视频篡改被动认证的研究作些概述，以展望本领域的研究进展。

2 篡改方式及篡改检测基本原理

视频篡改方式主要包括帧间篡改和帧内篡改。帧间篡改是指时域上的篡改，它包括帧间插入、删除、替换、复制篡改等；帧内篡改是指空域上的篡改，包括帧内目标移除和抠像合成等。

2.1 帧间插入、删除篡改

帧间插入篡改把视频本身的帧序列或异源视频的帧序列插入到视频的某个位置，帧间删除篡改将视频的某些帧序列删除。在视频篡改前相邻帧某些特征相关性是连续的，帧插入、删除篡改后有关特征相关性的连续性受到破坏，会产生突变点，因此通过阈值设定和对应的判定机制可以检测出突变点即篡改点。算法基本原理如图1所示。

图1 帧间插入、删除篡改检测基本原理

2.2 同源视频复制-粘贴篡改

同源视频复制-粘贴篡改把视频内某个帧序列复制到同一个视频内某个位置，因此视频存在着二个特征极其相似的帧序列。通过两两比较不同帧间特征是否相似，得到二组相似帧，再把二组帧分别组装为源、篡改帧序列；或者将视频分为多个重叠的子序列，比较子序列间的相似性，得到二组子序列，再把二组子序列帧分别组装为源、篡改帧序列。算法基本原理如图2所示。

图2 同源视频复制-粘贴篡改检测基本原理

2.3 帧内目标移除篡改

帧内目标删除的主要软件有Adobe 公司的Adobe After Effects和Imagineer Systems公司的mokey等。帧内目标删除主要是将帧内某些特定目标删除，并利用前后相邻帧的相近区域提取适当的像素对删除区域进行修补填充，结果会导致修复区域在时域上会有不连续性，因此，可以通过某些特征在时域上是否连续来确定篡改帧，再对确定篡改帧分块，从空域上根据某些特征区分篡改块和非篡改块，最终确定篡改区域。检测基本原理如图3所示。

图3 帧内目标移除篡改检测基本原理

2.4 抠像合成篡改

抠像合成软件主要有Adobe公司的Adobe Premiere Pro和Adobe After Effects等。现今许多电影在特技上的制作都有采用抠像合成方式。抠像合成主要包括抠像和合成二个过程，抠像是把视频中的前景提取出来，合成是把提取出来的前景放置在其它视频背景中形成新的视频。新合成的视频在原视频和抠像视频上由于视频来源的不同会有某些特征上的差异，通过找寻这些特征和分析特征差异是篡改检测的关键。检测基本原理如图4所示。

图4 抠像合成篡改检测基本原理

3 视频被动认证算法

3.1 帧间插入、删除篡改检测

针对MPEG视频具有I帧、P帧、B帧三种类型帧的特点，文献[3]计算滑动窗口内P帧运动矢量幅度和幅度均值，比较P帧运动矢量幅度的变化是否超过设定阈值，以此作为判定篡改的条件，但该方法只能检测单镜头视频，对变化剧烈和多镜头视频无法检测，而且当插入或删除的帧是GOP(Group of Picture)的整数倍时无法检测。

文献[4]在文献[3]的基础上，提取的是B帧的运动矢量，而不是P帧的运动矢量，对每帧运动矢量提取左右k近邻最大差值的平均值作为峰值，由峰值序列和标准偏差确定阈值，进行离群挖掘确定篡改点，相比文献[3]，可以检测出插入或删除的帧数是GOP整数倍的篡改，不需要进行二次篡改检测，但无法检测出插入或删除的帧数。

通过计算相邻帧纹理特征中灰度共生矩阵的相关性，文献[5]利用k-means算法检测出异常点，该算法可以检测出相近背景下异源帧的插入和替换，但无法检测出帧删除。

文献[6]统计相邻帧间像素的相关性，计算相关性的变化度，二次利用切比雪夫不等式进行离群点检测，进而找出篡改点，相比文献[3-4]，不只针对MPEG格式的视频，可对任意格式视频进行检测，检测效率高于文献[3]，但也存在着针对镜头移动的视频误检率和漏检率高的缺点。

在利用颜色视觉内容一致性方面，文献[7]采用彩色直方图相交法计算相邻帧间色彩内容相似性，根据拉依达准则设定动态阈值，如果帧间颜色内容一致性小于阈值，则发生篡改，该方法可以检测不同编码格式、不同来源的视频，但只能检测背景复杂的镜头静止的视频，如交通监控视频。

通过文献[3-7]的实验结果可以看出，多数检测视频是镜头静止的视频，针对镜头移动的视频无法检测或者检测率较低，因此，提高镜头移动视频的检测率是帧间插入、删除篡改检测的难点。

3.2 同源视频复制-粘贴篡改检测

文献[8]将视频序列分为多个重叠的子序列，计算各个子序列在空间上和时间上的相关性矩阵，并运用相关性矩阵进行帧间复制-粘贴篡改检测，这种检测的时间复杂度较高，而且重叠子序列的匹配导致算法的检测精度下降。

文献[9]提出了一种由粗到细的匹配方法进行篡改检测，但由于粗匹配得到的候选片段的精度不高，导致细匹配上的时间代价高。

文献[10]通过复制-粘贴的帧序列间的结构化相似度要高于正常帧序列来确定是否存在篡改。

文献[11]对每帧分块，提取每块的梯度均值、梯度方差、灰度均值、灰度方差、水平梯度方差、垂直梯度方差、水平梯度均值、垂直梯度均值共8个特征向量序列，利用欧氏距离进行帧间相似度计算，构造偏差矩阵设置动态阈值，相似度小于动态阈值则发生篡改，并能够确定篡改位置恢复原视频。

文献[12]提取每帧Tamura纹理特征的三个分量即方向度、对比度、粗糙度，构成的三维的特征向量矩阵进行字典排序，并计算排序后邻近特征向量的差异度与固定阈值的关系来检测和定位复制-粘贴序列，该算法存在时间复杂度随着视频帧数的增加而变大的缺陷。

以上几个文献方法都存在着计算时间较长的问题，但是相比较而言，文献[11][12]计算量时间复杂度要远小于文献[8-10]，主要是因为文献[8-10]相似性比较是基于帧序列的，每个帧序列至少15帧以上，每次帧序列间的比较都要对每帧的特征重新计算，导致计算时间复杂度较大，而文献[11-12]是基于帧间特征比较，所以计算时间相对较少。此外，文献[10-12]均可以定位篡改位置并删除复制-粘贴帧序列恢复原始视频，而文献[8-9]不行。因此，降低计算时间复杂度是帧间复制篡改检测的下一个研究方向，并且改善视频检测的鲁棒性也是下一个研究重点。

3.3 帧内目标移除篡改检测

由于视频帧内删除篡改留有修复后的“鬼影”痕迹，文献[13]通过累积帧差法得到运动前景的运动轨迹，用块匹配法对每一帧分割运动前景和静止背景，把运动前景拼接构成前景拼接图，通过比较运动前景的运动轨迹和前景拼接图是否一致来确定是否发生对象删除篡改，该方法检测率较高，对有损压缩视频具有鲁棒性，检测的视频种类是MPEG格式。

在Adobe After Effects软件的对象删除中，删除区域是由前后相邻帧选取适当像素对篡改区域修补，因此，对象删除问题转化为检测块复制问题，文献[14]采取对待检测帧分块，以前后相邻的N帧作为参考帧，对所分块在参考帧的范围按照匹配准则寻找空域和时域上的最匹配块，进而确定篡改位置，但该算法针对较小的区域篡改准确率会降低。

针对Mokey软件帧内删除对象的篡改，文献[15]找出Mokey的篡改机理，将所有帧分成不重叠的块，计算每块帧间能量差序列，引入邻域信息的特征进行模糊聚类，聚类中小的那一类即是篡改类，并进行腐蚀膨胀去掉孤立误检块，该方法能够检测出简单的删除篡改并定位篡改区域，准确率和召回率均在90%以上，但只能检测使用Mokey软件进行的篡改，并且鲁棒性和篡改区域的精确定位也需要进一步提高。

根据视频帧中物体删除修复后，在时域上能量比重会存在着变化，文献[16]通过时域低高频能量比和频域熵这二个能反映能量变化的指标确定篡改帧，在确定的篡改帧序列内通过计算累计差分图像和累计边缘图像确定可疑图像块，如可疑图像块帧间能量均值小于整帧的帧间能量均值则定位可疑图像块为篡改区域，该方法只能检测固定背景中运动目标的移除。

文献[13-16]实验所检测的视频均是基于固定背景的镜头静止视频，如何在运动背景和镜头移动的视频中检测目标移除是帧内目标删除检测的一个难点，也是将来一个很好的研究方向。此外，即使是基于固定背景的镜头静止视频，如果背景是纯色的 (如背景是一张绿布) ，检测的效果会很差，甚至无法检测。

3.4 抠像合成篡改检测

文献[17]采用小波去噪滤波法对每帧图像去噪处理，原帧图像与去噪后图像的差值获得每帧噪声，将每帧噪声累加求平均获得整个视频的模式噪声，抠像视频的模式噪声能量集中于高频部分，而原视频模式噪声的能量集中于低频部分，通过频谱图区分出图像是否抠像合成，但算法的检测准确程度与抠像视频和原视频的码率有关。

文献[18]提出了基于DCT系数统计特征检测抠像视频，分别提取检测视频的前景和背景DCT系数，比较二者DCT系数分布的差异，计算前景和背景在不同量化尺度因子下的DCT系数直方图，通过弧度距离衡量直方图的差异，并根据差异程度判定视频是否蓝屏抠像篡改，存在着弧度距离衡量直方图差异的阈值是通过大量实验获得，可能对用其它视频编码器编码的视频并不适合，算法的鲁棒性也需要进一步提高，视频检测只是针对MPEG-2格式的检测，无法检测其它格式视频。

文献[19]针对可疑前景相比正常前景像素点灰度值在垂直边缘方向上的分布差异更大的特征，找出可疑前景，再根据可疑前景的可疑点比率跟阈值关系进一步判定可疑前景是否属于蓝屏抠像，该方法检测加工处理过的抠像视频，如模糊等，则准确率有所下降，另外算法阈值的设定是需要根据大量实验得来的，如果滤波或者视频的码率改变，则阈值也要相应改变。

4 困难与问题

视频篡改被动认证是综合了图像处理、信号处理、数据挖掘、机器学习、数学等跨学科的研究。从空域上看，它具有图像篡改所具有的一切元素，除此之外，它还具有时域上视频分帧的特点。现有的研究，很多只是把图像的被动篡改检测直接移植到视频被动篡改检测上，而且由于研究时间短，精兵强将少，还没有形成统一的学科理论，因此困难重重。

4.1 篡改检测算法的单一性问题

已有篡改检测算法基本上是针对某种特定篡改方式的检测，如只针对帧间插入、删除或者帧内目标移除等，篡改检测无法做到同时对不同篡改方式检测；篡改检测只是针对特定编码格式视频(如MPEG-2)；多数篡改检测只能检测镜头静止的视频，而适合镜头移动视频检测的算法较少。因此需要提高篡改检测算法的通用性。

4.2 篡改检测算法的鲁棒性问题

篡改检测算法的抗干扰性低，例如在文献[10-12]的同源视频复制-粘贴篡改检测中，对篡改的帧加入噪声，在文献[19]抠像合成检测中，对抠像边缘模糊处理，那么篡改检测的准确率将大大下降，甚至无法检测，因此需要在篡改检测算法中考虑如何改进算法的鲁棒性。

4.3 缺乏统一标准的篡改检测数据库

由于篡改检测研究还处在起步阶段，缺乏公共的、统一标准的视频篡改检测数据库，目前已知网上公开的只有英国萨里大学取证分析实验室提供的SULFA视频检测数据库 (http://sulfa.cs.surrey.ac.uk/index.php)，但该数据库除了提供正常视频，有关篡改的视频目前只有帧内目标移除视频，已有的篡改检测都是基于研究者自身提供的视频，从而导致了无法根据实验结果对不同算法进行准确的评估。因此，建立具有代表性、权威的、统一标准的数据库，才能公平地反映各种篡改算法的优劣。

5 未来研究展望

视频篡改被动取证技术的研究起步较晚，虽然取得了一定的进展，但研究还处在初级阶段，大多数算法针对性、局限性强，不够全面，没有形成较为完善的、实际可行的方法和理论。面对各种层出不穷的篡改新方式和新的视频编码格式等新情况，也需要研究人员与时俱进提出相应的解决方法。

5.1 视频新格式和篡改新方式的研究

由于视频的编码格式一直在不断的推陈出新，如1992年的MPEG-1标准到现在的MPEG-4标准，而新的编码格式出来意味着需要有新的篡改检测方法与之相适应。随着视频编辑软件功能越来越强大，也出现了一些新的视频篡改方式，例如把视频帧中的某部分按某种规律放大或缩小，帧其余部分不变，这就需要研究人员相应的提出新的篡改检测方法。

5.2 多种篡改方式和伪造技术联合的研究

已有的篡改研究针对的是事先已知待检测视频可能存在着某种篡改方式，通过检测确定有无该种方式的篡改，而在实际应用中是不知道视频是否经过篡改，更不确定是哪一种篡改方式。因此，如何确定视频是否被篡改，以及具体的篡改方式，是今后研究的方向之一。此外，现有的研究针对的大都是单一的篡改方式和伪造技术，而视频有可能同时存在多种篡改方式和多种伪造技术的联合，如何从不同角度和不同方位逐一进行取证也是今后的研究内容。

5.3 复杂视频的研究

已有的研究所选取的视频多数是基于静止背景的镜头静止视频，而对镜头移动视频和基于复杂运动背景下的镜头静止视频检测准确度较低或者无法检测，尤其是对镜头较剧烈运动的视频，检测精度大幅度下降，因此，针对镜头移动视频和基于复杂运动背景下的镜头静止视频的篡改检测将是今后研究的难点之一。

5.4 阈值研究

现有的研究方法有关于阈值设定的研究所提出的不多，多数研究只是通过实验结果估计得到固定阈值，只有小部分研究用来判断篡改的阈值是动态的，但存在精确度不够的问题，且并没有很好的从理论上阐述所得出动态阈值的缘由，越精确的阈值特别是阈值的动态性反过来进一步提高篡改检测的准确率。

5.5 篡改检测效率研究

现有的研究很多是把图像篡改研究的方法移植到视频检测上，由于视频是多帧也就是多图像组成，检测效率因此将大大降低，考虑到提高算法的效率和某些场合实时检测的需要，如何通过对视频压缩(如运用压缩感知)或者提取关键帧进行检测是提高检测效率的研究方向。

5.6 视频反取证研究

矛与盾是对立存在的，存在篡改检测的研究，必然也会有反篡改方面的研究，如篡改者为防止所篡改的视频被检测出，针对已有的篡改检测手段进行反取证研究，采取一系列视频修复手段进行反篡改掩饰，干扰检测，以达到已有篡改检测算法无法检测或降低检测率。

5.7 研究的其它问题

视频篡改研究已不止线性代数、概率统计的应用，也深入到广阔的数学工程。因此，应组织数学专业的本科、硕士毕业生攻读此领域的博士研究生，并探索此领域研究的各种数学模型，以提高其深广度，提升整个学科的水平。

在看到视频篡改检测领域在安全方面应用的同时，由于该领域涉及多学科，因而反转过来这些研究对于相关学科有何应用？目前还没引起人们的关注，但这是进一步发展该领域的重要反问题。

[1] B.G.Mobasseri. Content Authentication and Tamper Detection in Digital Video [C]. International Conference on Image Processing, Vancouver, BC. 2000, Vol.1, PP:458-461.

[2] 王俊文，刘光杰，张湛等. 基于模式噪声的数字视频篡改取证[J]. 东南大学学报：自然科学版，2008，38(增刊)：13-17．

[3] 秦运龙，孙广玲，张新鹏．利用运动矢量进行视频篡改检测[J]．计算机研究与发展，2009，46(增刊)：227-233．

[4] 黄添强，陈智文．基于双向运动矢量的数字视频篡改鉴定．山东大学学报(工学版)，2011，41(4)：13-19．

[5] 袁秀娟，黄添强，陈智文，吴铁浩，苏立超．基于纹理特征的数字视频篡改检测[J]．计算机系统应用，2012，21(6)：91-95．

[6] 黄添强，陈智文，苏立超，郑之，袁秀娟．利用内容连续性的数字视频篡改检测[J]．南京大学学报：自然科学版，2011，47(5)：493-503．

[7] 李海涛，林新棋，吴鹏，高智，詹晓珊．基于颜色内容一致性的视频篡改检测[J]．福建师范大学学报：自然科学版，2014，30(2)：26-33．

[8] Weihong Wang, Hany Farid. Exposing digital forgeries in video by detecting duplication[C]. //Proceedings of the 9th Workshop on Multimedia and Security. Dallas, Texas, USA: ACM, 2007:35-42.

[9] Guoshiang Lin, Jiefan Chang. Detection of frame duplication forgery in videos based on spatial and temporal analysis[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2012, 26(7): 1-18.

[10] Fugui Li, Tianqiang Huang. Video Copy-Move Forgery Detection and Localization Based on Structural Similarity[C], //Proceedings of the 3rdInternational Conference on Multimedia Technology (ICMT 2013), 2013:63-76．

[11] 陈智文，黄添强，吴铁浩，袁秀娟，苏伟峰．同源视频Copy-Move篡改检测及恢复 [J]．计算机系统应用，2013，22(9)：102-110．

[12] Shengyang Liao, Tianqiang Huang, Video Copy-Move Forgery Detection and Localization Based on Tamura Textural Features[C].//Proceedings of the 6th International Congresson Image and Signal (CISP2013). Hangzhou, China, 2013, 111-123.

[13] Zhang J, SuY T, Zhang M Y. Exposing digital video forgery by ghost shadow artifact. In:Proceedings of the 1st ACM Workshop on Multimedia in Forensics. Beijing, China, 2009, 49-54.

[14] 张静，宋怡，苏育挺．基于时空联合匹配的视频篡改检测算法[J]．电子测量技术，2011，34(11)：58−61．

[15] 王嘉萱，苏育挺．基于时序特征聚类的对象删除篡改检测[J]．电子测量技术，2012，35(11)：49-52．

[16] 刘雨青，黄添强．基于时空域能量可疑度的视频篡改检测与篡改区域定位[J]．南京大学学报：自然科学版，2014，50(1)：61-71．

[17] 郭琳琳，张静，苏育挺，一种基于模式噪声的视频抠像检测算法[J]．四川大学学报：自然科学版，2011，48(4)：777-782.

[18] Yuting Su, Bo Dong, Junyu Xu and etc. Detection of Blue Screen Special Effects in Videos[A]. Proceedings of 2010 4th International Conference on Intelligent Information Technology Application[C]. Qinhuangdao, China: November, 2010, vol.2, PP.391-394.

[19] Yuting Su, Yu Han and Chengqian Zhang, Detection of Blue Screen Based on Edge Feature[C]. Information Technology and Artificial Intelligence Conference, 2011:469-472.

Some progress in the study of digital video tampering with passive forensics

ZHUANG Jin-hui

（Department of Computer Engineering, Zhangzhou Institute of Technology, Zhangzhou, Fujian 363000, China）

This paper introduces the detection principle of four main tampering way in the digital video passive forensics and generalizes the existing research results of the four tampering way. The current difficulties and problems in the research are showed and the future research direction in the field is discussed.

multimedia forensics; video tampering; passive forensics

TP309

A

1673-1417（2014）04-0001-07

10.13908/j.cnki.issn1673-1417.2014.04.0001

2014－10－10

庄景晖(1974－)，男，福建泉州人，讲师，硕士，研究方向：视频图像处理、数据挖掘。

(责任编辑：季平)