改进的完美反射法及其在视频偏色校正中的应用

孙 鹏 刘 磊 李 海 王方明 郭 勇 单大国

（1 中国刑事警察学院声像资料检验技术系 辽宁 沈阳 110035；2 辽宁网络安全执法协同创新中心 辽宁 沈阳 110035；3 四川警察学院刑事技术系 四川 泸州 646000）

1 引言

视频侦查技术根据视频记录的客观事实，结合时间与空间的逻辑关系，锁定案件相关的人、车、物，提取犯罪嫌疑目标的体貌特征、行为特征与行动轨迹，为侦查工作指明方向，是案件侦破的重要手段之一[1-2]。尤其是近年各企事业单位监控设备、私人摄像头以及手机等视频采集设备的广泛应用，扩大了案件相关视频的采集范围，为视频侦查工作的开展提供了极大的便利。然而，受到视频设备型号、参数设置与采集方式的多样性，以及视频获取环境光照条件变化的复杂性等因素的影响，视频不可避免的会出现偏色、透视变形、曝光不足以及曝光过度等问题。如何充分利用现有的视频、图像处理技术解决上述问题，对提高视频侦查工作的效率具有非常重要的意义。

视频偏色是影响视频侦查工作的主要问题，广泛存在于各类涉案视频之中，影响视频侦查员对视频所记录的犯罪嫌疑目标颜色特征的认定。案发现场的光源变化、拍摄场景的遮挡以及拍摄设备型号、参数设置的差异都会导致同一物体在不同时刻、不同地点的视频中具有不同的色彩特征。在基于视频中人物衣着或车身颜色的犯罪嫌疑目标追踪过程中，由于上述问题的存在使得犯罪嫌疑目标在不同的视频中的色彩特征发生变化，识别度降低，可能导致犯罪嫌疑目标的错漏，贻误案件侦破的最佳时机，甚至错误的侦查方向。与此同时，视频中犯罪嫌疑目标的自动检测、识别以及跟踪是视频侦查技术的发展趋势，而自动检测等技术依赖于目标物的颜色特征，故视频的偏色问题也会影响自动检测等技术在视频侦查过程中的实战应用。综上所述，为了实现跨摄像头追踪犯罪嫌疑目标的标准化与自动化，需要对视频进行偏色的校正。

为了更好的解决视频的偏色问题，本文针对视频中白色点的色彩漂移现象，基于相机自动白平衡理论，改变了传统的白点检测法中白色区域的选取策略后，增加了类白色点的数量，从而提出了一种用于视频偏色校正的改进的完美反射法。仿真实验表明，该方法能够有效处理不同类型的视频偏色问题，进一步丰富了视频侦查的技术体系。

2 偏色校正方法

在视频侦查工作中对涉案视频进行偏色处理，常规的做法是首先提取包含犯罪嫌疑目标的视频关键帧，然后，检测视频关键帧是否存在偏色问题，如果存在则计算偏色校正系数，最后使用偏色校正系数对偏色视频进行校正，实现对视频中犯罪嫌疑目标色彩特征的认定。灰度世界法和完美反射法是两类主要的偏色校正方法。其中，灰度世界法认为色彩丰富、无偏色的图像，其RGB三色通道均值接近18度灰，即RGB三色通道像素均值相同[3]。具体实现过程是依据上述统计规律，通过比较关键帧RGB三色通道像素均值，并对其进行调整实现视频的偏色校正。灰度世界法原理简单，实用性强，但是对于具有大面积单一色块的视频校正效果差，甚至使得视频颜色失真。徐晓昭等[4]针对灰度世界法的不足，提出了基于标准差加权以及基于图像熵约束的改进算法，这两种改进算法有效的增强了灰度世界法的鲁棒性，拓宽了灰度世界法的适用范围。

完美反射法根据图像中白点反映光源色温这一特性，通过比较图像中白点RGB三色通道像素值，计算偏色校正系数。这种方法精度高，但是当进行实际的视频偏色校正时，如果关键帧中不存在白点，或白点存在较严重的色彩漂移现象时，偏色校正的效果较差，另外，完美反射法使用图像中亮度最大点作为白点，使得噪点与高光点严重影响偏色校正结果。本文针对完美反射法选取白点方法的不足，提出一种改进的完美反射法，首先在视频中提取关键帧，再在关键帧中使用文献[5]的白点约束方程提取白色区域，使用白色区域像素点计算关键帧的参考白点，然后计算偏色校正系数，进而对所有视频内所有图像帧偏色进行校正，还原视频中目标物的真实颜色。

3 本文算法

对具有单一稳定光源场景下拍摄的视频，认为该视频所有图像帧的偏色特性相同，因此选取视频中关键帧进行偏色检验及计算偏色校正系数，然后使用该校正系数对视频中所有图像帧进行偏色校正，实现对视频的偏色校正，其过程如图1。

图1 视频偏色校正流程图

3.1 视频预处理

视频的预处理主要包括关键帧提取、对关键帧进行亮度调整以及滤波等。视频的关键帧提取，即从视频F(t)中提取与案件相关的一帧图像fk(x,y)，可使用关键帧提取技术进行处理，也可以根据需要人工选取，提取得到的关键帧颜色丰富，存在明显白色区域最佳。对于曝光过度或者曝光不足的关键帧需要调整其亮度，将关键帧亮度调整到正常亮度范围，增大物体间亮度反差并更适于人眼观察，降低亮度对白点检测精度的影响，提高偏色校正精度。

滤波包括均值滤波、中值滤波以及维纳滤波方法等，主要用于抑制关键帧的噪声，增加偏色校正准确度。本文中使用的是均值滤波法，其滤波模板g及卷积公式如下：

其中，fk(x,y)为待预处理的关键帧，f'k(x,y)为经均值滤波后的关键帧，通过原图fk(x,y)与滤波模板g的卷积对图像进行滤波，得到滤波后的关键帧f'k(x,y)。

3.2 白点检测

使用完美反射法进行偏色校正的主要难点即在于白点检测，由于拍摄内容以及拍摄时的光照条件各异，不视频中白点表现出不同特性，因此白点检测的精度是影响偏色校正准确度的重要因素。文献[5]在Nakano[6]和Lee[7]等的研究基础上，提出在YCbCr颜色空间中构建白点约束模型。YCbCr颜色空间是YUV颜色空间经过缩放和偏移得到的一种颜色空间，与YUV空间相对应，其Y表示图像亮度，Cb表示图像的蓝色偏量，Cr表示图像的红色偏量，是一种应用十分广泛的颜色空间，式(3)为RGB空间与YCbCr空间的转换公式：

文献[5]综合分析利用图像中亮度以及图像红蓝两通道的偏量，提出使用公式(3)作为图像中白点的约束条件：

关键帧f'k(x,y)中满足式（4）的所有像素点即为白色区域WP，该约束条件构建一个Cb、Cr的六边形，使得像素点具有更强的白色特征，还考虑到亮度Y与Cb、Cr之间的关联性，进一步提高白点选取的精度。当亮度Y较小时，Cb与Cr控制较紧，使得阴影环境等光照不足条件下的白色平面参与到偏色估计；当亮度Y较大时，Cb与Cr控制较松，得到受光污染的白色平面，提高偏色估计精度。其中为控制白点选取的阈值，当值增大时，检测出的白点精度更高，参与偏色检验计算的点减少，最终检验结果对高光点以及早点的鲁棒性较低，偏色校正结果精度较差；当减小时，检测出的白点增多，甚至很多其他颜色的点也纳入到白点范围内，足够小时，关键帧中所有点均认为是白点，此时的偏色检验校正算法即为灰度世界法。

3.3 偏色校正系数计算

完美反射法使用关键帧中亮度最大的像素点作为白点，该方法受噪点以及高光点影响大，校正精度低，因此使用2.2中提取出的关键帧白色区域WP，使用该区域像素点计算关键帧的参考白点：

其中，RW、GW、BW分别为参考白点的RGB三色像素值，Ri、Gi、Bi是白色区域第i个像素点的像素值，N为白色区域像素点总数。通过计算白色区域RGB三色通道像素均值得到的参考白点，代表关键帧三色通道像素值的分布规律，对关键帧偏色特性的反应更加准确。

根据得到的参考白点，使用完美反射法计算偏色校正系数：

其中，公式(6)是通过参考白点的RGB三色像素值计算光源亮度Y，相较于直接使用Y=255，公式(6)得到的关键帧光源亮度，更接近视频拍摄时使用的光照亮度，校正后得到的视频中目标物更接近真实颜色，同时避免校正后视频中出现高光点以及曝光过度。公式(7)是根据参考白点的RGB三色通道像素值以及参考白点亮度值计算偏色校正增益，其中Rgain、Ggain、Bgain分别为视频中所有图像帧RGB三色通道的偏色校正系数。

3.4 视频偏色校正

视频由一系列图像帧ft(x)组成，而在单一稳定光源下拍摄的完整视频，所有图像帧ft(x)具有相同的偏色特性，因此视频的偏色校正即是将视频中所有图像帧ft(x)使用3.3中得到的偏色校正系数进行偏色校正，即可以完成视频的偏色校正。

公式（8）为所有视频中图像帧的偏色校正方法，其中R、G、B分别为所有图像帧校正前RGB三色通道像素值，R’、G’、B’为所有图像帧偏色校正后的RGB三色通道像素值，通过对视频F(t)中每一图像帧RGB三色通道像素的偏色校正，最终得到偏色校正后的视频F'(t)。

4 实验仿真

4.1 实验准备

实验设备：联想Y50p-70笔记本电脑，运行环境为MATLAB R2015a，偏色校正程序为根据本文算法编译，视频采集设备为华为P7，使用手机的模式1（牛仔模式）与模式2（恬淡模式）拍摄得到偏色视频，使用模式3（正常模式）拍摄得到正常视频。

4.2 实验结果与分析

图2为在两组实验中，将视频关键帧偏色校正前后的效果图，其中(a)为手机模式3拍摄视频关键帧，(b)为使用手机模式1拍摄视频关键帧，(c)为对图(b)进行偏色校正后的效果图，(d)为使用手机2模式拍摄视频的关键帧，(e)为对图(d)进行偏色校正后的效果图。通过视觉观察，经过本文方法进行偏色校正后的视频关键帧与正常拍摄视频关键帧颜色差异变小，目标物的颜色更接近正常拍摄视频中目标物颜色。

图2 视频偏色校正前后效果比较

第一组实验中，在各图中相同位置位置处取点，如图2中p1、p2、p3、p4及p5点，使用文献[4]中的方法对偏色效果进行评价：

其中，Cb与Cr分别为所取点的蓝色与红色偏量，ΔE越大，则所取白点偏色越严重。

表 第一组实验ΔE比较

由表可知，正常拍摄时p1点的ΔE为1.39，即车身为白色，使用手机模式1与模式2拍摄的视频中，使用p2与p4点计算得到的ΔE均大于1.39，尤其是手机模式1下拍摄的视频偏色严重，ΔE为24.85。使用本文方法对视频进行偏色校正后，使用p3与p5点计算得到的ΔE相较于未校正前明显降低，即本文算法能实现视频的偏色校正。

5 结论

视频侦查过程中，视频的正确预处理能提高侦查效率，实现视频侦查线索的快速反馈，帮助办案民警及时掌握案件情况，把握最佳破案时机。本文的偏色校正方法能对视频偏色进行校正，还原目标物颜色，对于目标物的跟踪具有十分重要的作用。但是本文方法仍然是对完美反射法的改进与应用，虽然通过约束条件将阴影下等亮度值较小的白色区域纳入偏色计算范围，但是对于特殊的无白色区域的视频，仍无法进行正确的偏色校正。视频侦查过程中遇到的视频偏色特性复杂，难以使用单一的偏色校正方法实现对视频的处理，因此，掌握多种偏色校正方法，并根据视频实际情况选择偏色校正方法，能提高偏色校正的准确率，有利于对视频的合理利用。