视频图像的邻域统计直方图均衡化增强算法

徐 艳,史再峰,李斌桥,庞 科

(天津大学电子信息工程学院,天津300072)

视频图像的邻域统计直方图均衡化增强算法

徐 艳,史再峰,李斌桥,庞 科

(天津大学电子信息工程学院,天津300072)

针对视频监控图像相邻帧之间场景变化小的特点,提出一种适用于视频图像的邻域统计直方图均衡化算法来提升图像的对比度。根据相邻视频帧的场景相关性,对图像当前帧进行邻域信息统计,利用Laplace算子得到前一帧图像中的背景和细节信息,从而选择合适的增强参数,生成视频图像的优化直方图。使用优化后直方图的均值点将其分割成2个部分得到各自的变换函数,对视频图像进行直方图均衡化操作。实验结果表明,该算法能够提升视频图像的对比度,保持图像的平均亮度,减弱过增强现象,保留视频中兴趣区域的细节信息。可以获得的最小绝对平均亮度误差值为1.474 1,最大熵值为7.099 3,最大峰值信噪比值为20.671 0。

视频图像增强;邻域统计;对比度提升;直方图均衡化;优化直方图;拉普拉斯算子

1 概述

摄像机、监控系统等获得的视频图像成为人们获得信息的重要来源,能否获得高质量的视频图像对于人们快速准确地分析图像中蕴含的有用信息具有重要的意义。然而这类视频图像的质量往往受到天气、光线、仪器设备等多种因素的影响。在恶劣的天气条件下,图像会产生严重的退化,画面的色彩出现偏差,景物的细节难以分辨。因此,需要对视频图像作增强处理。其中,提升对比度是获得高清晰度图像的重要步骤之一。

直方图均衡化因其简单高效性成为了视频图像增强、对比度提升的一种广泛使用的算法。经典的直方图均衡化算法采用单一的变换函数对原始图像的直方图作拉伸,有效提升了图像的对比度。在这一算法的基础上,结合信号处理等方面的理论,出现了多种改进的直方图均衡化算法。文献[1]提出了一种亮度保持型的双直方图均衡化算法(BBHE),该算法将输入图像的直方图均值作为分割点,把直方图分割成2个子直方图,然后分别对这2个子图像进行直方图均衡化操作。文献[2]提出了一种循环子图像均衡化算法(RSIHE),该算法和文献[1]算法类似,区别是采用输入图像的直方图灰度累积概率等于0.5的点作为分割点,将图像分割成2的整数次幂个子图像。采用这2种算法得到的图像平均亮度与传统直方图均衡化算法相比较和原始图像更为接近。但它们在每个子图像均衡化的过程中依然不能消除直方图均衡化的缺陷。直方图均衡化还会出现灰度级合并的现象,造成图像细节的损失。有的算法在均衡化过程中对图像相邻灰度级的取值重新作调整,有效减少了灰度级的合并,使图像更加连续[3-4]。对比度受限的自适应直方图均衡化算法也是一种有效的改进算法[5-6]。该算法将原始图像分成若干个连续不重叠的子区域,分别计算每个子区域的直方图,选取合适的阈值对这些直方图进行剪切,将剪切后的像素进行重分配得到新的直方图,最后通过灰度线性插值的方式得到图像的新像素点。这类算法要获得较好的增强效果,要选择合理的阈值。平台直方图均衡化是对直方图均衡的另一种修正[7-8]。它根据增强的具体要求,选取阈值对直方图的上限或下限作限制,重新生成图像的直方图,从新的直方图计算得到变换函数,对图像作灰度变换。这类算法可以减弱原始图像过亮的现象,与对比度受限的自适应直方图均衡化算法类似,这类算法的难点和关键都是阈值的选取。有的算法针对视频图像受光照、天气条件影响大的特点,首先构造亮度变换函数,对图像的低照度部分进行提升,然后结合局部直方图均衡化算法增强图像中的局部信息[9]。该算法适合用于增强非均匀照度的图像。有的算法针对雾天图像退化现象进行增强,将天空和景物进行分离,对景物部分采用重叠的模板进行局部直方图均衡化[10]。以上2种算法由于采用了局部直方图均衡化,增加了一定的计算量,并且会带来块效应。

本文在分析图像局部信息的基础上,将图像的邻域信息融合到图像直方图的统计和生成中,使得新产生的直方图能反映图像的局部对比度信息,在增强图像细节的同时不引进块效应。根据视频图像场景的特点,计算得到合适的增强参数。同时,结合图像亮度保持的直方图均衡化算法,对因为细节增强而产生的亮度偏移进行修正。

2 传统直方图均衡化及其缺陷分析

对于一幅M×N大小的数字图像Ii来说,每一个灰度级rk在图像中出现的概率可以近似为:

其中,nk为灰度级为rk的像素个数,灰度级的范围在[0,L-1],L为图像中可能的灰度级的数量,则与rk相对的pr(rk)即为概率密度函数(PDF),通常称为直方图。直方图是图像像素灰度值分布的一个反映,对于数字图像,概率密度函数是离散的。将直方图进行累加便可以得到图像的累积概率密度函数(CDF):

由该累积概率密度函数可以得到对应的变换函数:

根据该变换函数,可以将输入图像中每个像素作对应的映射,得到新的像素值,即可得到输出图像Io,使输出图像的对比度得到提升。

在连续域进行直方图均衡化,得到输出图像的直方图将是一个均匀分布,因此,整个灰度范围内的每一个值都能得到利用。数字图像的直方图均衡化操作需要进行取整运算,在这一过程中,原先相邻的灰度级会分离,某些灰度级会合并或消失,得到的输出直方图中出现较多的空隙。这一特性对于增强低亮度的图像有很好的效果,但同时也会带来明显的过增强效应。相邻灰度级在进行直方图均衡化之后的距离可以用下式计算:

由此可见,相邻灰度级在直方图均衡化之后的间距和rk像素在输入图像中的概率密度值pr(rk)有关。若该值较小,两者之间的间距就小,图像的对比度提升就不明显,当间距不一时,相邻的灰度级就会合并,图像的灰度级就会减少;若该值较大,相邻灰度级的距离就会增大,对比度得到明显的提升。但也会带来诸如过增强效应或光圈现象。如图1所示,该图像中含有大量颜色单一的背景部分,对应直方图中概率密度值较高的灰度值,在直方图均衡化的过程中容易产生过增强效果。

图1 过增强效应示意图

3 视频图像直方图均衡化算法

3.1 监控视频的场景分析

监控视频的应用范围较为广泛,包括道路车辆检测、人脸检测、目标追踪等。对监控视频类图像的增强技术也要根据此类图像的特征而开发。视频监控类的图像通常场景和目标对象所占的比例较为固定,背景图像单一且变化少,经常包含天空、道路等。对于这类图像的增强,关注点都在前景对象上,前景部分往往包含人物、车辆等感兴趣的区域,而对于图像背景的增强要求往往不高。视频监控类图像还容易受到环境因素,例如天气和光线的影响,使图像出现偏暗或偏亮的现象,如夜晚图像的整体亮度会降低,雾天图像的细节会不清晰。对于此类图像,提升图像的对比度、增强图像的细节部分对提升图像的清晰度以便于后续的图像处理就显得尤为重要。此外,视频类图像在一定的时间间隔内存在相关性,前后帧之间的变化很小。因此,对于这类图像的增强,可以预先设定增强要求,对固定场景的增强采用相同的方式。

根据以上分析,对监控视频图像的增强,可以充分利用视频流中前后相邻帧之间的相关性,根据视频场景的特点,确定增强系数,达到预先设定的增强效果。

3.2 改进的直方图均衡算法

本文提出一种邻域统计直方图均衡化增强算法。该算法是对原始直方图均衡化算法的修正,可以有效减弱图像的过增强效应,保留图像的细节,使得图像的背景过渡自然,前景物体更加清晰,适用于增强视频监控类的图像。

该算法的实现框图如图2所示。首先对输入视频图像的第fn帧进行邻域信息统计,如图3所示。

图2 算法实现框图

图3 邻域统计示意图

一般的直方图均衡化算法在统计直方图时都不考虑图像的邻域信息,从而在均衡化过程中会丢失部分图像的细节信息。为了能够更好地保持图像的细节信息,本文提出的算法将选取每个待统计的像素点周围w×w的矩形区域,这里w是一个奇数,本文中取w=3,利用以下公式计算每个像素点周围w×w-1个像素的Pix(m,n)的值:

参数λ的大小代表图像的增强程度。当λ为0时,统计过程中不考虑周围像素与中心像素之间的关系,得到的结果和传统的直方图均衡化一致;随着λ的增大,图像中局部对比度较高,细节较丰富的部分将得到更好的增强,同时局部对比度较低,细节不明显的部分增强的程度会相对较低,即两者增强程度的差异会增大;当λ增大到一定的数值之后,这种差异就不明显。本文经过多次实验,发现λ在[0,4]范围之内的变化最明显,因此,λ的取值范围在[0,4]区间。对于视频监控图像,该信息可以通过对输入视频图像的fn-1帧进行场景判断来获得。当图像中含有大量天空、草地等图案,同时又需要增强前景人物的细节时就可以设置较大的λ值,能够保留图像细节的同时减弱背景部分的过增强效应。可以根据视频图像中的背景和细节部分所占的比例来获得该参数。本文采用拉普拉斯算子来提取视频图像中的细节部分。拉普拉斯算子具有旋转不变性,强调图像中灰度的突变,响应值高的部分即为图像中突变较大的区域,对应的细节信息较多。本文确定该参数的具体步骤如下:

(1)采用拉普拉斯算子对fn-1帧图像进行卷积运算,得到每个像素点的响应值R。

(2)选择合理的阈值TH对响应值R作分割,大于阈值的像素确定为细节像素,其余部分确定为背景像素(包含较少的细节信息)。由于拉普拉斯算子具有双重响应的特性,本文只取响应值为正数的点判断是否为细节像素,阈值TH选取为响应值最大值的0.1倍[11]。

(3)根据背景像素的个数计算得到背景像素在整幅图像中所占的比例BA,统计大量图像的BA值,得到其下限T1BA和上限T2BA,将该范围内的BA值作线性变换,映射到[0,4]上,得到对应的λ的值,用于fn帧视频图像的增强。

这样,含有背景像素多、细节像素少的图像将具有较大的BA值,可以获得较大的增强系数,从而减弱背景中的过增强效应。

当确定了图像的增强参数λ之后,得到一幅完整的二维直方图。该直方图不仅反映了图像中每个像素的灰度信息,还包含图像的局部对比度信息。利用以下公式将该二维直方图进行积分和归一化操作,得到输入图像的一维优化直方图:

利用该优化直方图的均值点M对该直方图进行均值分割,使该直方图成为2个独立的部分,对两者的直方图作累加便可计算得到各自的累积概率密度函数c1(m1)和c2(m2),利用累积概率密度函数得到2个独立直方图各自的变换函数:

利用变换函数分别对2个灰度像素区间内的像素进行灰度映射,得到输出图像。

4 实验结果与分析

为了验证本文算法在提升视频图像对比度方面的有效性,本节讨论并对比本文算法和HE算法、BBHE算法的结果。为了对比本文算法在保持图像亮度方面的优势,选择了绝对平均亮度误差(AMBE)来评价算法在保持原始图像平均亮度方面的特性;选择熵(Entropy)来评价执行直方图操作之后,图像信息是否丰富;选择峰值信噪比(PSNR)来评价图像的整体质量。

图4(a)所示的是一幅静态图像,经3种算法处理后的效果如图4(b)～图4(d)所示。该图像整体偏暗,同时背景和前景分离较明显,对于图像背景部分不需要作过多的增强。计算得到此幅图像的增强参数λ为3.2,可以弱化背景部分和本身局部对比度较小部分的增强,而对于本身局部对比度较大的前景部分重点增强。HE和BBHE增强的图像都存在背景部分的光晕现象,失真较大。而本文所采用的算法对图像的增强效果自然,明显减弱了过增强效应,并且能够保持图像的细节。由图5所示的直方图来看,本文所采用的算法得到的直方图更加均匀,符合提升对比度的要求,也不存在跳跃性的亮度变化。

图4 Image1的增强图像

图5 原始直方图及Image1增强后的直方图

本文选取了USC-SIPI图像数据库[12]的视频图像来验证本文算法对视频图像的增强效果。图6显示了各种算法对一组视频图像中的一幅的增强效果。可以看到HE虽然提升了对比度,但是对墙壁和人物衣着增强过度,同时减少了人物脸部的细节,而且增强后图像过亮,BBHE也有同样的现象。从图7的直方图中可以看到,该图像有大量像素集中在亮度较低的区域,对应人物的衣着部分,在HE和BBHE增强的过程中,该区域的灰度级被过度拉伸,导致了增强后亮度不均匀。此组视频中背景部分所占面积较大,计算得到λ的值为3.5,符合分析的增强要求。采用本文提出的算法增强的图像和HE/BBHE相比较,减弱了过增强现象,人物的脸部细节更丰富清晰。

图6 Image2的增强图像

图7 原始直方图及Image2增强后的直方图

图8 显示的是航拍视频的增强效果。

图8 Image3的增强图像

该视频中大部分区域都存在较为细节的景物,没有大面积的单一亮度区域,从图9中的直方图来看,原始图像的灰度级分布较为均匀,计算得出λ为2.5。可以看到与其他2种增强算法相比,本文算法对远处的山地和房屋等细节的增强效果更好,纹理更清晰。

表1是本文算法和其他直方图均衡化算法分别对以上静态图像和2组视频图像进行均衡化之后的指标对比结果。其中,视频图像的结果是对图像库中的该组视频图像取平均值的结果。从表中可以看出,虽然BBHE算法在保持图像平均亮度方面有了很大改进,但本文算法在保持图像的平均亮度方面明显优于其他算法;图像的熵值高于其他算法,代表图像的细节信息保留得更多;PSNR值较高表示图像的整体质量较好。

图9 原始直方图及Image3增强后的直方图

表1 3种算法的实验结果指标对比

5 结束语

本文针对视频监控类图像场景较为固定,对背景和前景图像增强要求不同的特点,提出了一种适用于视频图像增强的直方图均衡化算法来提升对比度。实验结果表明,该算法在直方图生成的过程中结合了局部对比度的统计,能够区别视频类图像中的前景和背景信息,对视频中的前景信息作重点增强,有效保留视频中的细节信息。该算法充分利用视频流中相邻帧的相关性,通过前一帧视频的场景信息,计算得到自适应的增强参数,为图像提供不同程度的增强,减弱了直方图均衡化过程中产生的过增强效应,图像过渡自然,没有明显的光晕现象,同时适合视频处理系统实现。采用直方图分割后分别进行均衡化的算法有效保持了原始图像的亮度均值,在提升对比度的同时降低了图像的失真度。

[1] Kim Y T.Contrast Enhancement Using Brightness Preserving Bi-histogram Equalization [J]. IEEE Transactions on Consumer Electronics,1997,43(1):1-8.

[2] Sim K S,Tso C P,Tan Y Y.Recursive Sub-image Histogram Equalization Applied to Gray Scale Images [J].Pattern Recognition Letters,2007,28(10): 1209-1221.

[3] 乔闹生,赵华君.保留灰度级的PCB图像增强研究[J].计算机工程与应用,2009,45(9):180-185.

[4] 邢永康,雷群英.保持B超图像灰度级的改进直方图均衡化算法[J].重庆大学学报,2011,34(6):123-131.

[5] 刘 轩,刘佳宾.基于对比度受限自适应直方图均衡的乳腺图像增强[J].计算机工程与应用,2008,44 (10):173-175.

[6] 刘叔军,毛丽民,徐本连.基于分级直方图均衡化的白细胞识别研究[J].中南大学学报:自然科学版,2013, 44(2):174-177.

[7] 宋岩峰,邵晓鹏,徐 军.基于双平台直方图的红外图像增强算法[J].红外与激光工程,2008,37(2): 308-311.

[8] 王炳健,刘上乾,周慧鑫,等.基于平台直方图的红外图像自适应增强算法[J].光子学报,2005,34(2): 299-301.

[9] 赵京东.一种新的非均匀照度图像增强算法[J].计算机工程与应用,2011,47(23):204-207.

[10] 祝 培,朱 虹,钱学明,等.一种有雾天气图像景物影像的清晰化算法[J].中国图象图形学报,2004,9(1): 124-128.

[11] 董鸿燕.边缘检测的若干技术研究[D].长沙:国防科学技术大学,2008.

[12] Signal and Image Processing Institute of University of Southern California.Image Database[EB/OL].(2010-06-09).http://sipi.usc.edu/database/database.php.

编辑 顾逸斐

Neighborhood Calculation Histogram Equalization Enhancement Algorithm for Video Image

XU Yan,SHI Zai-feng,LI Bin-qiao,PANG Ke
(School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China)

Considering the adjacent frames scene small changes of surveillance video images,this paper proposes a neighborhood calculation histogram equalization algorithm for video image to enhance the contrast.This algorithm employs the adjacent video frame correlation,calculates the neighborhood information of the frame,chooses a suitable enhancement parameter according to the former frame background and detail information obtained by Laplace operator, and generates a modified histogram of the image.The algorithm separates the modified histogram into two parts using its mean value to get two transformation functions.Histogram equalization is operated for the latter frame.Experimental results show that this algorithm efficiently enhances the contrast of video images,preserves the mean brightness,alleviates the over-enhancement problem and keeps the interest region details.Compared with the traditional algorithms,it acquires the lowest average absolute error of brightness value as 1.474 1,highest entropy as 7.099 3,and highest peak signal to noise ratio as 20.671 0.

video image enhancement;neighborhood statistics;contrast enhancement;histogram equalization;modified histogram;Laplace operator

1000-3428(2014)10-0245-07

A

TP391

10.3969/j.issn.1000-3428.2014.10.046

国家“863”计划基金资助项目(2012AA012705);国家国际科技合作专项项目(2012DFB10170)。

徐 艳(1988-),女,硕士研究生,主研方向:数字集成电路设计,数字图像处理;史再峰,讲师、博士;李斌桥,教授;庞 科,博士研究生。

2013-10-22

2013-11-25E-mail:shizaifeng@tju.edu.cn

中文引用格式:徐 艳,史再峰,李斌桥,等.视频图像的邻域统计直方图均衡化增强算法[J].计算机工程,2014, 40(10):245-251.

英文引用格式:Xu Yan,Shi Zaifeng,Li Binqiao,et al.Neighborhood Calculation Histogram Equalization Enhancement Algorithm for Video Image[J].Computer Engineering,2014,40(10):245-251.