基于本底噪声马尔科夫转移矩阵法的视频连续性检验

栗赫遥 包 清 邓 南

（1 上海公安学院治安系 上海 200137；2 上海市公安局刑事侦查总队 上海 200083；3 上海理工大学光电信息和工程学院 上海 200093）

1 引言

随着数字化摄录设备的普及，视听资料在各种案件中出现的频率不断上升。相对保守的法庭科学，在一定的条件下把新兴的数字化的数据逐渐纳入到线索和证据之中[1-2]。由于数字化的视听资料具有易于修改和难以留痕的特点，经编辑的视听资料作为线索或是证据存在瑕疵。目前，数字化视听资料的检验主要集中在单张图片的检验[3-4]，通过检验单张图片的原始性来评判图片是否经过编辑，据此判断图片是否可以被采信[5]。其中利用背景噪声检验方法主要有张弛等人提出的通过边缘算子提取边缘后比较内外的噪声差异[6]，刘丽娟等人提出的图像分割后基于偏度统计的噪声识别方法，识别出异常噪声区域以达到检验拼接区域的目的[7]，卢燕飞等人提出了基于估计信道信噪比高阶统计量分割图像检验异常区域的方法[8]，张晖等人提出了利用噪声的高阶统计特征检验图片是否拼接形成[9]。上述方法均是通过背景噪声的统计性参数，检验单张图像的原始性。

根据中华人民共和国公安部在2014年颁布的标准，法庭科学中视听资料连续性检验鉴定规范（GA/T 1199-2014）将视频资料连续性检验分成了两个部分，即客观评价体系和主观评价体系。客观评价体系包括蓝屏/黑屏的有无；场景分辨率是否变化；镜头切换的有无；画面重复的有无；关键帧信息是否一致。主观评价体系包括景深关系是否合理；画面噪声分布是否合理；画面质量是否一致；目标运动是否合理；内容变化是否合理；压缩程度是否合理。

参照公安部标准，视频资料连续性检验的客观标准易被剪辑者规避，检验主要依赖检验人员的经验和细致。有的学者也提出了一些相对客观的检验方法与标准，如Qi Wang等人提出了使用支持向量机通过灰度值的相关系数衡量帧间的稳定性[10]，Lu Zheng等人提出了利用亮度比值的连续性衡量帧间的连续性[11]，但上述方法适用范围小，效果并不显著。视频中的本底噪声作为十万甚至是百万的数量级的感光元件的耦合作用结果，是在录制过程中无法避免的。声学角度的本底噪声高斯模型已发展成熟[12]，利用本底噪声之间在特征上的差异可建立起声音环境识别[13]。依据现有刑事技术学的理论，视频中的本底噪声被认为是有自身连续性的[14]，从理论上说利用本底噪声检验视频的连续性是可行的，但客观、定量的连续性检验尚无成熟的方法。

本文提出了一种通过滤波提取视频中本底噪声后，计算帧间转移矩阵距离差值的算法，能够客观、数值化地衡量本底噪声的差异。

2 实验

2.1 实验原理

马尔科夫过程指的是一个系统状态转化过程中第n次转换的状态决定于前一次，即第n-1次的状态结果。对于一段连续录制的录像，假设录制的是一段静稳场景，那么任意t时刻第k帧视频中的本底噪声，是由第k-1帧时的噪声经过衰减再叠加过程中产生的随机噪声而得到的，t时刻第k帧视频中本底噪声与第k-1帧时的噪声存在一定的相关性。视频中本底噪声大量存在，所以将本底噪声的转移过程建立成矩阵后，在统计上存在稳定性。当视频经过剪辑后，虽然场景没有变化但本底噪声转移矩阵之间的连续性遭到破坏，通过检验转移矩阵之间的连续性判断视频是否经过剪辑。

检验主要包括两个部分，第一部分是本底噪声的提取，采用梯度算法得到图像的梯度分布强度后利用滤波得到图像中的本底噪声，将提取出的本底噪声与周围小邻域的均值做差，即可以得到该点处本底噪声的强度；第二部分是转移矩阵的建立和矩阵间距离的计算，将相同一点(x,y)第k-1帧和第k帧的本底噪声强度进行统计建立转移矩阵，用两个矩阵之间的欧式距离衡量转移矩阵之间的相似性。

2.2 实验过程

使用型号为PMW-EX1的录像机开机5min后，录制一段时长为40s的视频，原始视频中有人员进入和离开的场景，使用专门的视频编辑软件对视频进行剪辑，把反映人员活动的帧剪辑掉，再将视频拼接起来，经肉眼观察剪辑后的整段视频均未发现明显异常。视频的剪辑点位于视频的24.8s处，即第620帧（每秒25帧）处，视频中被剪辑前有人员进出的场景和被剪辑拼接后的场景，如图1所示。按照传统方法对视频进行检验，由于无法发现剪辑痕迹，该视频将被认定为未经处理的原始视频。

2.2.1 本底噪声的提取

本次实验对于本底噪声的提取主要是基于梯度算法。记P（i，j）为点（i，j）处的灰度值，记T（i，j）=max（（P（i，j）－P（i，j-1）），（P（i，j）－P（i-1，j）））为点（i，j）处的梯度强度值。将原始图像转化为灰度图像后使用梯度算法得到梯度强度分布图像，如图2所示。

图2 梯度强度分布示例图

相对于本底噪声，图像2中物体的轮廓与边缘有两个特点：①图像中物体的轮廓与边缘的梯度强度远大于本底噪声；②图像中物体的轮廓与边缘相对于分布杂乱无章的本底噪声，在一个局部小邻域内容易呈现出比较明显的线性特征。利用上述两个特点对图像进行滤波，即可得到去除物体轮廓与边缘的灰度图像，如图3所示。

图3 去轮廓灰度示例图

图像3中，当提取点满足去轮廓条件，即提取点不属于轮廓，并且在包含提取点的3*3的邻域内不属于轮廓点的计数大于4，则计算该点的本底噪声强度，并记录下该点的本底噪声强度Ixy，坐标位置(x，y)于集合D。Ixy=I-(Σ(Ic)/n)，其中，Ixy为计算后所提取出点的本底噪声强度，I为所提取出点的梯度强度值，Σ(Ic)为所提取出点的3*3邻域内不属于轮廓点的梯度强度值的和，n为所提取出点的3*3邻域内不属于轮廓点的计数，得到本底噪声强度分布，如图4所示。

图4 本底噪声强度分布色阶示例图

2.2.2 转移矩阵的提取与计算

对于单张本底噪声图片，提取每一个已经计算得到的本底噪声点的噪声强度I，坐标位置(x，y)，即可得到灰度分布。利用两张本底噪声图片，即可求得本底噪声转移矩阵。Cij=Nij/Ni，其中Cij为转移矩阵第i行j列的元素值，Nij为噪声强度由i变化到j的总点数，Ni为噪声强度为i的总点数。使用该方法即可得到本底噪声的转移矩阵，如图5所示。

图5 转移矩阵结果示例图

在获得本底噪声转移矩阵的基础上，继续计算转移矩阵间的距离来衡量两个转移矩阵之间的相似性其中 为转移矩阵距离，Aij为第k帧的转移矩阵的第i行j列的元素值，Bij为第k-1帧的转移矩阵的第i行j列的元素值，越大时相似性越低，反之则越高。

经实验发现转移矩阵的维度并不是恒定的，而是会随着时间的改变而发生变化，如图6所示。

图6 维度分布统计图

相同数值的转移矩阵距离的结果，在不同的维度下的偏差程度是不同的，所以需要对结果进行归一化消除。对于一个n阶的转移矩阵方阵假定后续帧完全由前序帧决定和后续帧完全随机的两种极限情况下，对应的极限转移矩阵分别为单位矩阵和每个元素均为1/n的n阶矩阵，将这两种极限情况归一化需要把矩阵乘以一个调节系数因为从实验结果来看n的值较大，所以可以把归一化结果近似地看成乘以一个调节系数

3 结果

按照上文实验过程中的步骤，调整后的转移矩阵距离的变化值，如图7所示，图中黑色箭头为视频中的剪辑点处。剪辑点附近邻域的结果数值，如图8所示（依次为618-622帧结果）。

图7 转移矩阵距离结果

图8 剪辑点附近邻域处转移矩阵距离结果

4 讨论与分析

根据噪声提取结果，梯度方法提取图像中的本底噪声时，结合去轮廓滤波，能够在保留图像中稳定区域提取到大量本底噪声的同时，消除掉图像中轮廓和边缘的干扰，完全与预期相吻合。

模拟实验转移矩阵距离结果的数值约为0.45，明显高于绝大多数连续帧之间计算的结果（超过了99%），在1000帧中排到了第3高位，在这个高点，之后又出现了一个约为0.36高点，连续两个高点是剪辑视频的特异性特征，与理论分析相匹配。大量的连续帧之间的计算结果集中在[0.1-0.2]之间，与非连续帧之间计算的结果0.45存在着显著的差异。该结果还可以使用机器学习的方法进行后续优化，因为在计算转移矩阵距离时，矩阵中的每个元素计算得到的结果均被赋予了相同的权重。从实验数据可以发现，部分元素在连续帧和非连续帧两种情况下变化较大，其他元素没有这样的性质。可以通过机器学习的方法构建了一个带有反馈的加权矩阵，将转移矩阵中不同位置的元素赋予不同的权重。

5 结论

本次实验结果是在录制机器固定不动、光照条件相对稳定，画面中稳定区域较多的情况下获得的。经过实验的测试与验证，基于本底噪声马尔科夫转移矩阵的分析方法，在检验视频连续性与传统方法相比有着明显的优势：①能够使用客观的计算结果，直观地把整段视频的疑似剪辑处锁定到一个很小的范围内，减少需要人工观看和检验的视频区间，减少了工作量；②改变视频连续性检验依赖主观和经验，为确定疑似剪辑处提供了客观、直观的数据支撑。综上所述，基于本底噪声马尔科夫转移矩阵的分析方法，可以作为分析视频连续性的一种有效的辅助手段。