基于道路监控的图像增强算法研究∗

殷 莹，吴向前，王 萍，张姚斌

(1.新疆大学电气工程学院，新疆乌鲁木齐830047；2.新疆大学信息科学与工程学院，新疆乌鲁木齐830046)

0 引言

道路监控视频图片的采集是智能交通系统最重要的一部分，实际环境中往往会出现光线不足等情况导致采集视频监控图像质量较差，无法实现快速自动识别．为此许多学者对图像增强方面进行了大量的研究，但他们都是基于特定的应用背景而提出的：文献[1]通过直方图匹配的方法用参考图像做依据对原始图像采用迭代增强的方式来提高其清晰度．该方法虽然改善了图像的视觉效果，但是图像的细节没有得到增强；文献[2,3]中提出了基于光照模型的预处理光照椎和球谐波方法，但是其运算量大而且限制因素较多不适合实际应用；文献[4,5]提出改进的CLAHE算法，只增加了亮度分量，虽然处理的时间有所减少，同样图像细节增强并没有显著变化；文献[6-8]将多尺度Retinex算法用于交通监控图像中，虽然他设计的可变滤波器对局部区域的图像去雾处理有明显效果也能够突出图像的边缘，但是该算法的色彩因子等参数的拔取比较难，计算量也比较大；文献[9]对集成电路制造过程快速获取缺陷细节问题，提出一种特定场景下两种算法融合的图像增强技术，该算法增强了细节，但其应用场景受到一定的限制．

以上算法计算量较大且限制因素多，许多参数的选取较难，不利于实际应用．本文基于以上算法的不足提出一种将CLAHE与多尺度Retinex融合的方法用于增强道路交通图像，有效解决了图像质量较差对后期人脸检测和违规识别率低的问题．通过多组仿真测试，可看出融合后图像质量得到明显的提高，同时在智能交通系统中有效提高了执法准确率．

1 图像增强算法

1.1 中值滤波去噪

由于视频图像拍摄和传输过程会出现各类噪声，为了消除这些噪声对图像质量的影响，通常采用线性滤波和排序滤波等方法．线性滤波一般采用均值滤波和高斯滤波方法，而中值滤波[10]是属于排序滤波的一种，是一种非线性处理的方法，其去噪效果和保留图像细节都要比均值滤波的效果好．该算法主要思想是通过确定一个中心点然后将该中心的邻域像素值进行排序处理以后，将中间值赋给该中心点的灰度像素值，常用有3×3和5×5滤波窗口，也可根据噪声大小自己定义．实验测试用一张大雾天拍摄含有椒盐噪声的图片，图1为均值滤波与中值滤波处理后的结果．从图中可明显看出，中值滤波对含噪声污染的图像改善效果明显要比均值滤波好，因此选用中值滤波．

图1 两种滤波去除噪声效果图

1.2 CLAHE直方图的均衡化

CLAHE直方图是对传统直方图采用重新分配亮度来计算局部区域直方图[11]，该方法能增强图像局部动态对比度，保留图像细节和形态特征，并抑制噪声的放大．

CLAHE算法的具体实现步骤如下：

(1)将输入的图像分成M×N个不重复的子区域．

(2)对分割的每个子区域的灰度级直方图进行平均分配后计算结果相同的像素．即平均像素为

其中，Ngray表示子区域中灰度级的总像素，Nx表示每个小区域X轴上的像素数，Ny表示每个小区域Y轴上的像素数．

(3)将每个小区域直方图中大于的像素数截取，K表示截取系数，并求出截取部分的总像素为∑NV，截取过程如图2所示．然后求出截取到的总像数分配到每个灰度级的像素数为

(4)分别对每个子区域重复步骤（1）（2）（3）以后对得到的每块子区域裁剪后的新直方图进行直方图均衡化，并使用变换函数得到新的灰度值．

图2 直方图截取示意图

1.3 Retinex算法

Retinex是通过retina与cortex合成起来的．算法利用高斯滤波器提取物体的反射分量，进行图像增强后在色彩失真、图像灰度级范围达到平衡．近年来许多学者提出多种改进的Retinex[12]算法，其中最为经典的三种为单尺度Retinex算法（SSR）、多尺度加权平均的Retinex算法（MSR）和带彩色恢复的多尺度Retinex算法（MSRCR），本文采用MSR算法．

1.3.1 MSR算法

MSR多尺度算法的基本公式如下

其中，N为尺度的数量，一般选取为3；W为尺度的权重因子，并且满足在Fn中的尺度参数C一般选取15、80和250．该算法在动态压缩和颜色恢复有所平衡．

2 基于CLAHE和多尺度Retinex融合的新思想

为了解决受光照不均影响的道路监控图像，本文考虑到Retinex算法的不足之处，对于光照变化较大的图像会出现光晕现象导致彩色图片颜色泛白、失真．而恰好CLAHE算法可以通过直方图限幅来增强图像的局部对比度减少光照变化．因此采用两种算法融合后用做图像增强的新算法．

2.1 CLAHE和多尺度Retinex融合

通常融合后的图像在保留原始图像的色彩亮度的同时，需要尽可能的增加细节信息量．融合技术是将多幅图像中关于同一目标的图像数据经过图像处理尽可能提取各自信道中的有利信息来提高图像的分辨率．目前在遥感、视频目标识别、医学等方面有许多应用，尤其为后期目标检测提供了良好的效果．根据图像融合层次可分为三个：决策级融合、特征级融合、数据级融合．数据级融合是高层次图像融合的基础，它直接处理传感器在多个场景下采集的数据，尽可能的保留原始场景．提供其他层系所不能提供的纹理信息，也是当前融合图像研究的重点之一．常用的方法有加权平均法、小波变换法等．但目前小波变换法存在如何选择最佳的小波基函数和最优的小波分解层数等难题．而加权平均法（Weighted Averaging，WA）可以将几幅质量不同的图像信息直接融合，它具有简单、直观、运算速度快的优点，同时可以提高图像的信噪比．因此本文选取采用像素加权平均法将CLAHE和多尺度Retinex算法分别处理后的图像进行融合．

2.2 融合算法的流程图

图3 融合算法的流程图

图3为融合算法的流程图，具体表现为以下几步：

（1）首先输入原始图像Ii(x,y)，并且画出其直方图．

（2）将输入的彩色图像Ii(x,y)分成M×N个不重复的子区域，通过公式(1)(2)得到图像新的灰度级范围．然后对R、G、B三个通道分别使用adapthisteq()函数进行处理得出限幅自适应均衡化（CLAHE）的图像X(i,j)．

（3）同样将（1）中的Ii(x,y)进行分解为R、G、B三个通道，将它们的类型变换为double型，并且设定好所需参数．

（4）根据公式（3）、（4）和（5）可以构造高斯函数，并且经过实验得出三个高斯核用三个尺度来定义．

（5）然后归一化处理，分别对三个尺度处理进行加权平均．

（6）分别对R、G、B三个通道重复步骤（3）和（4）的处理，最终得到新的彩色图像Y(x,j)．

（7）将CLAHE和多尺度Retinex处理后两个图像用图3中公式计算，取得最终的图像W(x,j)．

3 实验结果对比

本文通过新疆维吾尔自治区交警总队所采集照片选取其中600张质量较差的图片做测试，每张像素大小为450×370．测试平台为Core i5-3230 CPU，内存4GB的PC机，所用软件为matlab2015b．将实验样本分别运用CLAHE、SSR、MSR、MSRCR及本文算法等五种算法在道路监控图像增强的效果做对比，部分图像增强效果如下图4所示．

图4 (a)和(b)为两类质量较差图像的五种算法增强效果图

由上述测试结果可知两张图片通过（CLAHE）算法增强后虽然图像的局部对比度有所加强，但是细节恢复并不明显．通过Retinex算法的三种经典类型处理后图像的细节得到一定的增强，信息丰富量和图像亮度也有了明显的提升，但是可看出处理后的图像整体泛白，而且由于其非线性变换对比度的拉伸而产生一定的噪声．在本文算法对图像增强之后，图像的细节突出、轮廓清晰．为了验证本文算法普遍性采用图像融合的评判标准测评．

3.1 客观评价方法

客观评价方法通常采用一些可以量化的公式，将计算得到的数据作为图像质量评价的结果．常用的评价指标有信息熵(Entropy)、均值、标准差（SE）、均方根误差（RMSE）、平均梯度（AVG）等．信息熵表示图像信息量多少，值越大信息量越多；均值表示像素大小的平均值；标准差反映像素级的分布情况，值越大融合效果越好；均方根误差是映现新的图像与参考图像之间的不同，区别越小越好；平均梯度表示图像的纹理和轮廓清晰度，值越大清晰度越好；空间频率用来衡量图像在整体空间中像素的活跃结果，同样值越大融合结果越清楚．采用客观结合评定结果如图5所示．

图5 融合图像客观评判指标图

通过图5各项指标评判结果，能够清楚看到信息熵、标准差、平均梯度、空间频率等参数值在几种算法增强之后，本文提出的算法对参数值提高最大，且均值与均方根误差值也明显有所下降，说明本文提出算法比其他几种算法效果都好．

3.2 人脸检测实验

为了验证本文提出的增强算法的有效性，实验将采集到质量较差的图片用文章提出的算法增强以后进行人脸检测．运用改进的方法在600张图片进行验证测试，部分人脸检测效果如图6所示．

图6 部分人脸检测效果图

上图是对不同条件影响下一些质量较差的图像进行的人脸检测测试，图6（a）和（b）是在不同光照下，（c）和（d）是在夜间行驶中，（e）和（f）是在白天行驶中．综上所述，通过本文方法增强图像之后，在不同条件下对质量较差的图像均能检测出人脸．表1给出增强图像前后的人脸检测的指标结果．

表1 人脸检测实验结果分析

由表1可以看出本文算法在与文献[13]正检率和检测时间差不多的情况，误检率下降了一半．同时与原图做对比以后，不仅正检率和时间有所提升，而且误检率明显下降．实验说明本文算法在人脸检测实验中的有效性，为后期违规识别奠定了坚实的理论基础．

4 结论

本文针对智能交通系统中道路监控图像质量问题，提出一种将CLAHE与多尺度Retinex算法融合的算法用于彩色图像的增强．经过对数据库仿真测试之后，结果表明本文算法弥补两种图像增强算法的不足，且保留原图像的色彩亮度同时细节信息得了增强．通过人脸检测实验得出本文算法的有效性，同时有效提高执法的准确率．

参考文献：

[1]朱婧雅,王中元.基于相似场景的低照度监控图像增强[J].计算机应用与软件，2015，32(01):203-205+210.

[2]RAVI R.Analytic pca construction for theoretical analysis of lighting variability in images of a lambertian object[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(10):1322-1333.

[3]GEORGHIADES A S,BELHUMEUR P N,KRIEGMAN D J.From few to many:illumination cone models for facerecognition under diあering pose and lighting[J].IEEE Trans.On PAMI,2001,23(6):643-660.

[4]张璞,王英,王苏苏.基于CLAHE变换的低对比度图像增强改进算法[J].青岛大学学报(工程技术版),2011,26(04):57-60.DOI：10.13306/j.1006-9798.2011.04.011

[5]Celik T,Tjahjadi T.Automatic image equalization and contrast enhancement using Gaussian mixture modeling[J].IEEE Transactions on Image Processing,2012,21(1):145-156.

[6]Wang W,Li B,Zheng J,et al.A fast multi-scale retinex algorithm for color image enhancement[C]//International Conference on Wavelet Analysis and Pattern Recognition IEEE,2008:80-85.

[7]Jobson D J,Rahman Z,Woodell G A.A multiscale retinex for bridging the gap between color images and the human observation of scenes[J].IEEE Trans Image Process,1997,6(7):965-967.

[8]王红,何小海,杨晓敏.基于模糊理论和CLAHE的雾天图像自适应清晰化算法[J].微电子学与计算机,2012,29(01):32-34.

[9]李锦,王俊平,万国挺,等.一种结合直方图均衡化和MSRCR的图像增强新算法[J/OL].西安电子科技大学学报,2014,41(3):103-109.

[10]范浩如,贾振红,杨杰,Nikola Kasabov.基于改进的增强Lee滤波的数字全息图再现像降噪方法（英文）[J].新疆大学学报(自然科学版),2017,34(2):183-186.

[11]Lin P H,Shen C T,Lin C C,et al.Contrast Enhancement on Color Images Using Interative Histogram Rearrangement[C]//The 13thIEEE International Symposium on Consumer.Electronics.Piscataway:IEEE,2009:382-386.

[12]Chen Yuanpo,Yeh Shyhan,Huang Yunghui,et al.A region-based Retinex with data f i lling for the enhancement of electronic portal images[J].Nuclear Inst.and Methods in Physics Research A,2013(709):143-153.

[13]王小明,方晓颖,刘锦高.复杂光照下的自适应人脸图像增强[J].计算机工程与应用，2011，47(02):15-18.