基于直方图匹配的图像抖动消除算法

郑来芳

（太原工业学院电子工程系，山西太原030003）

基于直方图匹配的图像抖动消除算法

郑来芳

（太原工业学院电子工程系，山西太原030003）

基于图像差分算法的运动目标检测中，固定好的摄像头在受到重型车辆驶过、强风等因素影响下，所拍摄到的图像仍会出现抖动，而图像抖动对提取图像中的运动目标干扰非常大。本文设计了一种基于预先划定一个或多个目标匹配区域的颜色直方图匹配算法，通过分析和比较抖动前后两幅图像目标区域和候选区域颜色直方图的相似度，找到最优匹配块并得到对应块运动位移，从而求出两幅图像的绝对运动位移，最后消除干扰位移。实验结果表明，该算法鲁棒性好，能够准确消除抖动位移给运动目标检测带来的干扰。

抖动干扰；运动目标检测；图像差分；颜色直方图匹配

计算机视觉与图像处理技术的研究已经成为科学和工程领域的一项重要内容，而运动目标的检测与跟踪是计算机视觉领域的一个重要研究方向[1-5]。目前，已有的运动目标检测方法按照算法的基本原理可以分为三类：帧间差分法、背景减除法和光流法。其中帧间差分法、背景减除法因为算法实现简单，程序设计复杂度低，效率高，效果好而被广泛应用。

然而，图像抖动的干扰会严重影响这两种算法，甚至会造成算法失效。采用增加额外设备来稳定摄像头，如利用加速度传感器、图像稳定器、滤镜等来消除图像抖动，效率低，成本高，应用环境也有限。因此在运动目标检测中，提出了利用软件来消除图像抖动[6-8]。软件消除图像抖动过程包括：运动估计和运动位移补偿，而运动估计是其中的关键。

目前用来做运动估计[9-11]的方法主要有基于图像的块匹配方法、基于光流的方法和基于特征匹配的方法。后两种方法复杂耗时，在实际中应用较少。本文根据运动目标实际情况预先划定合适的匹配区域，以及直方图直观反映像素值概率分布的特性，设计了一种新的运动估计方法，即基于预先划定区域内进行直方图匹配，通过分析和比较抖动前后两幅图像在预先划定区域内颜色直方图的相似度，找到最优匹配块并得到对应块运动位移，从而求出两幅图像的绝对运动位移，最后消除干扰位移。

1 直方图匹配算法

颜色直方图，是将图像中的目标区域内的像素提取出来，对像素R、G、B三个颜色通道信息进行某种关系的映射，然后统计映射后的概率分布，建立R、G、B三通道的直方图模型。直方图匹配是通过对不同区域建立相应的直方图模型，依照匹配策略寻找到与目标模型匹配度最高的区域。

1.1 目标区域内颜色直方图模型的建立

如图1所示为抖动前后的两张图片，蓝色方框和绿色方框区域为预先划定的两块面积、位置一致的匹配区域，本文建立目标区域的颜色直方图模型具体步骤为：

a)建立R、G、B三个一维直方图：像素的R、G、B值范围为0～255，出于计算速度和匹配精度考虑，直方图组距设为16，再对目标区域每个像素R、G、B颜色通道信息的进行统计，产生三个一维直方图模型，每维16组。

b)归一化直方图：三个一维直方图中各组值分别设HR(i)、HG(i)、HB(i)，i=0,1,2,3…15，找出每维最大值HRmax、HGmax、HBmax，进行归一化操作，并以建立一维灰度直方图类似的操作来产生三维直方图，定义如下：

其中H(k)∈[0,1],k=0,1,2,...47，H(k)表示的是新建立一维直方图中各组的组值。如图2所示，这样建立类似一维的匹配关系，完全满足三维函数的特性，各颜色通道间的相关性好，复杂度低，匹配精确。

图1 抖动前后两张图片

图2 经过归一化后的一维颜色直方图

1.2 图像直方图分布特征相似性测量方法及评价参数

目标模型与候选目标相似度由相似性函数来度量，相似性函数定义了目标模型与候选目标之间的距离。在统计学中，巴氏距离（巴塔恰里雅距离/Bhattacharyya distance）用于测量的是两个离散或连续概率分布的相似性,在直方图相似度计算时，巴氏距离获得的效果也非常好。因此本文采用巴氏距离来测量两颜色直方图分布之间的相似度：

其中，H1，H2表示的两个一维直方图,H1(k)、H2(k)表示的是一维直方图中各组的组值，两直方图完全匹配dBhattachayya=0,完全不匹配dBhattachayya=1。

2 抖动干扰去除方法在运动目标检测中的应用

摄像头抖动干扰是对室内智能视频监控中运动目标检测的准确性是一个巨大的挑战，本文正是针对室内环境下摄像头抖动干扰问题开展研究的。

2.1 预先划定合适的图像匹配区域

针对室内环境中很少存在大量运动物体，且摄像头抖动一般只造成图像水平和垂直方向的运动的特点，本文提出了两种方法来划定匹配区域。第一种：利用预先划定不包含运动物体，且颜色特征明显的区域作为匹配区域，如图3(a)和图3(b)所示；第二种：对于监控区域内始终存在运动物体，或者不包含运动物体的区域颜色特征不明显（如图3(c)红框区域所示，颜色直方图匹配效果差）的情况，一般需要划定相对距离远的两块作为匹配区域（通常选取图像四个边角中的两个）。若监控环境始终有多个运动目标，可能会出现两个目标匹配区域都被运动物体遮掩的情况，故可设定多个匹配区域，方法一样。本文以一般情况下划定图3(c)左下角、右下角作为目标匹配区域为例，具体实现算法下文会做详细描述。

通常情况下摄像头抖动频率比较低，幅度比较小，因而将所划定的匹配区域在基准帧中的位置作为搜索中心，根据工程实际在其附近限定搜索范围（如图3黄框区域所示，为搜索范围。）

2.2 图像抖动的判定

当图像差分算法检测到异常情况时，先判断是否由摄像头抖动引起，判断方法根据匹配区域的划定分为两种：

①若划定的目标匹配区域只有一个（如图3(a)、图3(b)所示），进行差分的前后两张图片中，选取第一张图片作为基准帧，划定好的目标匹配区域，与第二张图片相同位置、相同大小的候选匹配区域一起，利用式（1）、（2）、（3）建立一维颜色直方图模型（如图2(a)、图2(b)所示），再根据式（4）巴氏距离计算得到目标区域和候选区域一维颜色直方图相似度dBhattachayya，两直方图完全匹配dBhattachayya=0,完全不匹配dBhattachayya=1。现设定相似度阈值为0.05，若目标区域与候选区域的颜色直方图相似度dBhattachayya＜0.05，则判定摄像头没有抖动，两张图片正常。

②若划定的目标匹配区域有两个，需要分别对两个匹配区域和对应候选区域进行颜色直方图匹配，步骤与方法①一致，得到的两个相似度d1Bhat-tachayya和d2Bhattachayya中，只要有一个小于设定阈值0.05，就判定摄像头没有发生抖动，当两个相似度d1Bhat-tachayya、d2Bhattachayya都超过阈值0.05时，才判定摄像头发生抖动，进行图像抖动消除。

图3 室内环境下划定合适的匹配区域

2.3 图像抖动的消除

若判定出图像受到摄像头抖动的干扰后，在做第二次相邻两帧图像差分前，先进行图像抖动的消除，具体步骤：

(a)读入待差分的两张图片，以第一帧图像作为基准帧，第二帧图像为抖动干扰帧。

(b)在第一帧图像中，划定好合适的目标匹配区域；在第二帧图像中，以第一帧图像中划定目标区域的位置为中心，划定好合适匹配范围，开始搜索最优匹配块。

(c)搜索策略：采用改进后的三步快速搜索算法，既保证了搜索的效率，也保证了搜索的精度。搜索过程中，对比候选区域和基准帧目标区域的颜色直方图相似度，当直方图相似度dBhattachayya＜0.05时，停止搜索，记录下此时匹配块的位置；若dBhattachayya始终大于阈值0.05，记录下搜索过程中出现dBhattachayya最小值时匹配块的位置。最后根据匹配块位置，计算出对应的块运动位移。

(d)通过计算出对应的块运动位移，得到两幅图像的绝对运动位移，最后消除第二帧图像的干扰位移。

(e)对去除抖动干扰的两帧图像进行差分处理、灰度变换、二值化处理，二值化处理时将大于阈值的像素点置为255，小于阈值的像素点置为0，到此即可分割出运动目标区域。

图4 三步快速搜索示例图

若基准帧中划定的目标匹配区域有两个，按照以上步骤将会得到两个绝对运动位移和两个不同的图像差分结果。本文的处理办法是统计出图像差分、灰度变换、二值化后像素值为255的像素点的个数，以个数少的作为最终差分结果。

3 实验结果与分析

3.1 设定一个目标匹配区域的抖动干扰消除

待差分的两帧图像中，没有运动物体的区域，理论上进行图像差分、二值化处理后，该区域像素点的值应该全为0。但是由于摄像头抖动干扰的存在，相邻两帧图像对应点的像素值发生变化，会误判成运动物体造成。图5(a)绿色框区域为目标匹配区域，黄色框区域为匹配搜索范围，图5(b)受到了抖动干扰，蓝色框区域为最优匹配块搜索结果，图5(c)是相邻两帧图像图5(a)和图5(b)进行差分、二值化后的结果，二值化阈值取40。图5(e)是消除干扰位移后的灰度图像，图5(f)是消除抖动干扰后的差分、二值化结果。

图5 设定一个目标匹配区域的图像抖动消除

如下表1统计的为图5中对应差分、二值化后的图像面积，图像的分辨率为640*480，从图5和表1可以看出，摄像头抖动干扰图像差分的影响巨大，采用消除图像抖动算法后，摄像头抖动的影响大大减弱甚至完全消除，运动目标的轮廓能完全显现出来。后期再通过形态学滤波处理，即可精确分割运动目标。

表1 去抖动干扰前后图像差分、二值化后的面积（像素为255的个数）

3.2 设定两个目标匹配区域的抖动干扰消除

图6所示的监控环境中不包含运动物体的区域颜色特征不明显，故划定左下角、右下角作为目标匹配区域。图6(d)所示，左下角的绿框目标匹配区域内出现运动目标，图6(e)所示蓝框区域为匹配结果，图6(g)为图像消抖后差分、二值化结果。图6(h)为选定右下角作为目标匹配区域，且匹配区域无运动目标。图6(i)所示蓝框区域为匹配结果，图6(k)为图像消抖后差分、二值化结果。

图6 设定两个目标匹配区域的图像抖动消除

图6中图像的分辨率都为640*480，图6(c)中像素值为255的个数是39203，图6(g)中像素值为255的个数是40281，图6(k)中像素值为255的个数是32154。由图6(g)和图6(k)对比可以得出，由于目标匹配区域内出现运动目标这一特殊情况，导致图像匹配错误，图像消抖不成功。而无运动目标的区域作为匹配区域，图像消抖后差分、二值化能准确分割出运动目标。本文算法也将根据图像消抖、差分、二值化后像素值为255的个数，自动选择最优消抖结果。

4 结论

复杂环境下的运动目标检测在智能视频监控系统中是一个至关重要的环节。摄像头抖动干扰对基于差分的目标分割算法带来了巨大的挑战，为抑制抖动干扰对目标提取稳健性的影响，本文提出了基于预先划定一个或多个目标匹配区域的颜色直方图匹配方法，能够有效去除图像差分时图像抖动的干扰，排除了纯背景差分时图像抖动造成的误检测和有运动物体时图像抖动造成的漏检，实验证明，该方法在基于图像差分的运动目标检测中效果显著。不足的是，本文算法在颜色特征不明显的监控环境下使用效果较差，监控场景始终有多个运动目标而划定多个目标匹配区域，算法实时性较差，如何解决这一问题将是我们下一步的研究重点。

[1]王亮，胡卫明，谭铁牛.人运动的视觉分析综述[J].计算机学报，2002，25(3)：225-237.

[2]谭鑫，肖南峰.运动人体的检测跟踪方法的研究与实现[J].计算机应用与软件，2010，24(4)：29-31.

[3]丁友东,吴学纯.基于Kinect的人体对象视频自动分割[J].电子测量技术，2013，36(4)：48-51．

[4]Nima Asgharbeygi,David Stracuzzi,Pat Langley.Relational Temporal Difference Learning[C].In Proc.The 23rd International Conference on Machine Learning,Pittsburgh,2006.

[5]戴小鹏，王华伟，黄璜.一种新的背景模型建立及更新方法[J].计算机应用研究，2006(5)：239-241.

[6]曹丹华，邹伟，吴裕斌.基于背景图像差分的运动人体检测[J].光电工程，2007,6(34)：107-111.

[7]余烨,曹明伟,岳峰.EViBe：一种改进的ViBe运动目标检测算法[J].仪器仪表学报，2014，35(4)：924-931．

[8]MURGIA J,MEURIE C,RUICHEK Y.An improved colorimetric invariants and RGB-depth-based codebook modelfor background subtraction using Kinect[C].Mexican International Conference on Artificial Intelligence，2014，380-392．

[9]O’Connor N E,O’Conaire C,Smeaton A.Thermo-visual feature fusion for object tracking using multiple spatiogram trackers[J].Machine Vision and Application,2008,19(5/6)：483-494.

[10]Smeaton A F,O’Conaire C,O’Connor N E.An improved spatiogram similarity measure for robust object localization[C].Proceedings of ICASSP,Honolulu,2007：1067-1072.

[11]Birchfield S T,Rangarajan S.Spatial histograms for region-based tracking[J].ETRI Journal,2007,29(5)：697-699.

A Method of Image Dithering Elimination Based on Histogram Matching

ZHENG Lai-fang
(School of Electrical Engineering,Taiyuan Institute of Technology,Taiyuan Shanxi,030003)

By the effects of heavy vehicles passing,the strong wind or other factors,the image captured by fixed camera will produce dithering.But in moving target detection algorithm based on image difference,the image dithering will bring a lot of interference to extract moving targets from image.In this paper,a new method of image dithering elimination based on histogram matching in one or more pre-defined areas is proposed.By analyzing and comparing color histogram similarity in target area and candidate area between dithered image and normal image,the optimal matching block will be found and absolute motion displacement of two images will be calculated,finally,to eliminate interference displacement.Experimental results show that the method have a outstanding performance in robustness which can accurately eliminate the interference in moving target detection caused by dithered displacement.

dithered interference;moving target detection;image difference;color histogram matching

TP391.4

A

1674-0874(2017)02-0017-04

〔责任编辑 高彩云〕

2017-02-07

太原工业学院青年科学基金[2016LQ04]

郑来芳（1987-），女，安徽亳州人，硕士，助教，研究方向：模式识别，机器视觉。