双选像素点的局部自适应ACE算法

王 晶,汪荣贵,杨 娟,李 想

(合肥工业大学计算机与信息学院,合肥230009)

双选像素点的局部自适应ACE算法

王 晶,汪荣贵,杨 娟,李 想

(合肥工业大学计算机与信息学院,合肥230009)

针对自动色彩均衡(ACE)算法不能很好地保持图像原始色彩信息,并且算法复杂度高较难满足实时性应用的缺点,提出双选像素点的局部自适应ACE算法。将获得的图像变换到YCbCr色彩空间中,有利于保持图像的原始色彩信息,利用亮度图像的梯度信息与图像局部的均值方差信息进行双层像素点选择,降低算法的运算复杂度,采用局部自适应滤波调整ACE算法中的亮度控制函数,增强图像的局部对比度。实验结果表明,与传统的ACE算法相比,色彩恢复多尺度Retinex算法MSRCR的视觉效果更好,运行速度提高约150倍,计算复杂度得到了明显改进。

自动色彩均衡算法;图像增强;局部自适应;色彩恢复多尺度Retinex算法

1 概述

由于各种外界因素的干扰,相机接收图像的质量会有所下降。比如低照度情况通常亮度不足,导致图像细节丢失;强光照射情况下采集到的图像动态范围偏大,会使场景中的信息因无法正常显示而丢失[1];雾天情况下,图像的能见度降低[2],不利于观察。因此对图像进行增强处理是图像处理应用技术中的重要组成部分。这里的图像增强处理是指根据特定的图像采用特定方法,突出图像中的重要信息,同时削弱或去除无关的信息,最终满足不同的应用需求。

人眼能正确识别场景中的物体是因为人类视觉系统具有强烈的全局和区域自适应性以及对亮度和色彩的自适应调节能力。人类视觉系统以高度非线性的方式感知进入人眼的景物光照的强度,即使在动态范围极高或者极低的场景中,人眼仍然可以有效地提取可视信息。但是相机仅是线性地记录进入到镜头中的光照强度,因此,相机所成的像与人眼感知的图像是不同的。人眼的视觉系统主要有2个方面的特性:亮度持续性和色彩持续性[3]。亮度恒常性指对景物的察觉总是趋向中间灰度,即亮度的均值(如8 bit图像中的128),称为灰度世界模型;人类视觉系统会规格化图像通道色彩值,准确地识别物体的真实颜色,同时使区域中的最亮值假设为白色区域,称为白斑模型。如果这2个模型单独应用,不一定能取得好的效果,许多学者将两者结合起来,提出一些方法来模仿视觉系统的2个模型,对图像进行增强。

文献[4-5]受人类视觉系统特性的启发,提出了自动色彩均衡(Automatic Color Equalization,ACE)算法。该算法模拟人眼感知特性,利用图像的亮度和色彩信息对图像进行增强处理。最初ACE算法采用周围所有像素点与目标点差分,并考虑目标点与各像素点间的空间特性,对目标点进行校正。后来发展为选择与目标点有一定相关性的像素点进行差分,算法复杂度有一定的提升,但是位于亮度和色彩跳跃处或者边缘处的像素点,因得不到足够多的相关像素点,会产生边缘效应。在此基础上,文献[3]在ACE模型中引入了非线性局部调整,自适应地确定模型在区域的参数,但是仅应用于高动态范围图像。文献[6]提出了自动色彩均衡快速算法,将ACE的质量优势和多尺度 Retinex(Multi-scale Retinex,MSR)的速度优势结合,得到的算法复杂度低,而且效果可观,但此算法如果卷积核层数选择设计不合适,增强的结果会偏向灰度图像。文献[7]根据Weber定律,认为要在视觉上获得同样的效果,在原图中对比度越大处梯度越需要越大幅度的增强,但在求解图像中所有点局部梯度增强总和的一个目标函数的极值时采用了迭代贪婪算法,且对图像中任一点处对比度都做增强,算法复杂度很高。

从人眼视觉系统特性出发,针对以上ACE图像增强算法的缺点,本文提出一种快速有效的彩色图像增强算法。在梯度域对图像中的像素点进行选择,选择梯度大的像素点进行增强;分析目标点周围信息,根据局部区域的均值和方差对周围像素点进行相关性选择,减少了差分运算的复杂度,同时不失图像的特性;最后结合人眼视觉对亮度控制函数进行自适应滤波,以消除边缘效应,同时对处理结果进行色彩校正,解决图像色彩失真问题。

2 ACE算法简介

ACE算法是在Retinex、灰度世界模型以及白斑模型的基础上提出的一种图像增强算法。该算法根据每一像素点与周围像素点的亮度和空间关系,由亮度函数控制亮度增强,由空间函数计算权重,并用加权处理完成Retinex的核心思想。算法流程如图1所示。

图1 ACE的算法流程

由ACE的算法流程可以看出其主要包括2个步骤:

(1)模拟人类视觉系统的全局和区域自适应性Rc(p),对颜色/空间进行非线性计算。得到的归一化公式如下:

(2)调整Rc(p)的动态范围,得到最终结果图Oc,使得Oc适应于不同显示设备的显示范围。结合人眼的2种模型得到式(2):

ACE算法模拟人类视觉系统特性,在对彩色图像增强且进行亮度和色彩保持方面具有以下特点:

(1)ACE算法通过相关像素点间的差分值实现与周围点的比较,再经过相对亮度调整函数进行非线性调整。

(2)ACE算法模拟人眼视觉特性的非线性由相对亮度调整函数的非线性提供,若函数为线性,ACE算法也将失去非线性特征。

(3)ACE算法通过两点之间距离单调递减的权重函数实现人眼的区域自适应性。

3 本文改进算法

传统ACE算法在图像增强领域虽然获得了很好的效果,但由于ACE算法是在图像的全局范围内进行像素点差分比较,没有充分考虑到图像的局部特性,使得增强后的图像局部效果较差,而且ACE算法是在整幅图像内进行像素点对像素点的计算,算法的复杂度较高。基于以上缺点本文提出了改进的ACE算法。首先将获取的RGB图像转换到YCbCr色彩空间中,将亮度信息和色彩信息分离,分别采用亮度图像梯度和局部亮度均值与方差信息对图像进行像素点双层预选取,然后采用局部自适应滤波对图像的局部信息进行调整。本文算法流程如图2所示。

图2 本文算法流程

3.1 双选像素点

图像的梯度域中梯度小的细节区域出现的概率高,而梯度大的区域包含了图像的边缘,占有率比较低[8-9],因此,可以利用图像梯度域中的梯度信息对图像进行增强。本文首先计算出图像的梯度,图像I(x,y)中每个像素点的梯度∇f为:

梯度向量的模为:

在实际操作中,为了减少平方和开方带来的运算量,常用绝对值代替平方和开方运算近似求得梯度的模∇f。

本文采用文献[10]提出的Roberts交叉梯度算子获得图像的梯度,选择尺寸为3×3的最小滤波器掩模,算子如图3所示。

图3 3×3区域滤波掩模

为了符合人眼侧抑制性机制,图3(b)和图3(c)中将权值设置为2来突出中心点的作用。使用绝对值并使用3×3掩模,中心像素点(0,0)的梯度近似结果为:

在图像的梯度区域内,梯度很小的部分包含了少量无用的信息,比如噪声,如果对其增强,是对噪声的放大,因此,选择像素点操作时可以将这部分像素点进行删除,减少计算的复杂度。

ACE算法的起始定义是图像中每个像素点受到图像中其他所有像素点的影响,但是实际上只有周围邻域一些像素点对其影响大,距离远的像素点的影响几乎可以忽略。本文通过目标像素点与周围像素点的相似度来选择与目标像素点的相关像素点。目标像素点i与周围像素点j的相似度依赖于灰度矩阵v(Ni)与v(Nj)的相似程度。其中,Nk表示以像素k为中心点的邻域;灰度矩阵v(Ni)与v(Nj)的相似程度可通过灰度矩阵的均值和方差进行比较。在像素点i和像素点j的局部区域Ni和Nj中,局部均值和方差代表局部区域特性,局部均值是局部区域平均灰度值的量度,方差是局部区域对比度的量度。局部均值和方差为:

3.2 局部自适应滤波

式(1)中的相对亮度调整函数r(·)模仿人类视觉特性的非线性特征,控制了图像对比度增强的程度。比较常见的函数形式有Saturation函数、Signum函数、Arctan函数和 Sigmoidal函数,如图4所示。Saturation函数和Signum函数为线性函数,无法满足ACE算法的非线性特性;图像中最小的细节往往被噪声淹没,实际上不包含多少有用的信息,Actan函数对图像中最小的对比度也进行了增强,实际上是对噪声的放大,导致最终处理结果噪声加强。对于归一化后的x,本文采用Sigmoidal函数[7]得到r(x)。

图4 相对亮度调整函数曲线

Sigmoidal函数形式为:

其中,sign(x)是符号函数;s(x)为奇函数,取值范围为(-1,1),其控制该函数的陡峭程度,取值越大,图像的对比度增强越明显。这里s(x)取值是全局设定的,没有考虑图像的局部特性。考虑图像局部的特性,采用局部均值μ(x)w和标准差σ(x)w定义区域自适应参数s(x):

3.3 色彩恢复与平衡

色彩是图像的重要信息,图像系统允许对灰度和不平衡的彩色交互独立地矫正。一幅图像的灰度范围又称为“主调型”,它提供图像亮度的分布信息。高主调图像的多数信息集中在高亮度处,低主调图像的彩色主要位于低亮度处,中间主调图像位于中间。

彩色模型是某些标准下用可接受的方式对色彩进行说明,比较常见的有RGB(红、绿、蓝)彩色模型、HSI(色调、饱和度、亮度)彩色模型、CIE L×a×

其中,s(x)为μw(x)和σw(x)的递减函数,均值较小处对应图像较暗处,取较大的s(x),对图像进行较大的增强;标准差较小处为图像的平坦区域,取较大的s(x),也是对图像进行较大的增强。

本文在3.1节采用了局部直方图统计方式求取局部均值与方差,如式(6),若考虑周围像素对目像素影响不同,可以设置一个加权平均的权值变量ω(x,y),得到式(9): b、YCbCr彩色模型等。图像处理领域获取的图像大多采用RGB彩色模型,此模型由3个分量组成,每个分量图像可称为原色图像,应用比较广泛。HSI彩色模型将色彩信息和亮度信息分离,可以独立处理,但是RGB彩色模型到HSI彩色模型的转换过程中涉及到余弦和取最小值的非线性操作,转换的计算复杂度大大抵消了在HSI色彩空间处理的简便性。CIE L×a×b色彩模型是感知一致的,且独立于设备,但是没有直接可以显示的格式。

YCbCr彩色空间广泛应用于数字图像与视频中,在YCbCr色彩空间中亮度信息用Y分量表示,色彩信息用2个色差分量Cb,Cr表示,分量Cb代表了红色分量和一个参考值的差,分量Cr代表了红色分量和一个参考值的差,YCbCr色彩空间更符合人类描述和解释颜色的方式。为了对色彩进行校正和减少运算量,本文将RGB图像转换到YCbCr色彩空间进行处理。2个色彩空间的关系如下:

本文定义一种YCb′Cr′空间,其中,Cb′=Cb-128;Cr′=Cr-128,使得和RGB色彩空间呈线性关系。本文只对图像的亮度分量Y进行处理,保持色彩信息Cb′,Cr′不变。适应性地调整图像的亮度,最终在合适的亮度上提供最大的细节,同时色彩信息得到了有效保持。

4 实验结果与分析

本文实验平台为 CPU双核2.60 GHz,内存2 GB,软件为Matlab R2009a,Windows XP操作系统。为了验证本文算法的可行性和有效性,将本文算法与MSRCR算法和传统ACE算法比较,通过主观观察和客观数据分析验证本文算法的优越性。

主观观察是图像增强领域中一种有效且重要的图像质量评价标准[11],薄雾与浓雾的图像处理结果如图5、图6所示。从主观观察来看,本文算法在局部细节部分和整体色彩方面显示出了更好的增强效果,低对比度图像处理结果如图7所示。图7(a)中建筑物中部的细节在原始图像中为黑色,主观观察不出细节,图7(b)的局部细节丢失,图7(d)显示出了部分细节。对于雾天图像,图5(d)和图6(d)较原始图像对比度有所增强,显示在图像上的明显效果就是去掉了分布在图像上的雾,同时保留了图像的原始的色彩信息,然而传统ACE算法和MSRCR算法得到的图像色彩存在明显的失真,如图5(b)颜色信息过重,图5(c)整体偏青,图7(b)和图7(c)和原始的整体色彩不一致。

图5 薄雾图像处理结果

图6 浓雾图像处理结果

图7 低对比度图像处理结果

为了更加准确地分析,除了人眼的主观观察标准外,还采用客观的质量评价标准来评价算法的性能。表1～表3中是通过统计运算得到的图5～图7的均值、标准差和fitness值。均值反映了图像的平均亮度,标准差反映了图像的对比度,fitness反映了图像的色彩信息。参数为A=1.5,B=1的Beta分布和[0,1]区间上的均匀分布分别是Y和Cb,Cr通道上的理想分布,Y通道的分布尽可能在[0,1]区间上接近1的区域内,可使得图像亮度更佳,Cb和Cr通道的分布尽可能地接近于均匀分布,可以使得图像包含更多的色彩内容[12]。

为了精确描述图像的亮度和色彩,首先将图像转至YCbCr空间。各通道归一化至[0,1]区间。然后分别计算Y通道值的分布到参数为A=1.5,B=1的Beta分布的 Kullback-Leibler距离[13],记为 ΔY;Cb和Cr通道值的分布到[0,1]区间上均匀分布的K-L距离,分别记为ΔCb和ΔCr,最后求得亮度和色彩的适应性数值fitness:

K-L距离定义了2种分布的接近程度,设2种不同的分布p(k)和q(k),两者的K-L距离定义为:

若q的分布越接近于均匀分布p,K-L距离越小,则图像的亮度及色彩分布越好。表1～表3分别是以上各实验图片的客观评价数据。

表1 薄雾图像的处理数据

表2 浓雾图像的处理数据

表3 低对比度图像的处理数据

分析由表1～表3统计的信息可以发现,本文算法和传统ACE算法处理结果的均值都集中在120～130,符合人眼的视觉范围。本文算法的标准差在雾天图像5、图像6中高于原图,较原图的对比度有所增加,但是低于传统的ACE算法,说明像素间亮度的差异减少了。灰度级更集中分布在均值附近,使处理后的像素值分布在更适合人眼观察的区域。对于低对比度图像,本文算法的方差比原图小但是比传统的ACE算法处理结果高。因此,本文算法处理的图像较传统ACE处理的图像在均值方差方面质量更高。

分析表1～表3的fitness结果,在雾天图5、图6中本文算法的结果和传统ACE算法的结果都高于原始图像,说明各算法在去除一定的雾之后有色彩修复作用,且本文算法更接近于原始图像的色彩信息,但是传统的ACE算法色彩过于丰富,偏离了原始色彩。在低照度图7中,本文算法fitness值比原图有一定的升高,说明本文算法对低照度图像有一定的色彩修复作用,传统的ACE算法低于原图和本文算法处理的结果,说明其有一定的色彩失真现象,因此,本文算法在色彩处理方面优于MSRCR算法和传统的ACE算法。

本文算法在双选像素点的条件下下,去除了部分像素点以及与目标点不相关的像素点差分运算,算法复杂度方面得到了明显的改进。各算法的运行时间如表4所示。

表4 各算法运行时间 s

5 结束语

本文提出了双选像素点的局部自适应的ACE算法,在YCbCr色彩空间,利用图像的梯度信息和局部均值和方差对目标点的相关像素点进行选择,然后对图像亮度进行自适应调整。实验结果表明,本文算法能够有效地增强整体对比度,在亮度、色彩和细节方面都能取得较好的视觉效果,而且不会产生难以解决的块状效应、色彩失真和光晕现象。同时本文算法解决了传统ACE算法处理速度慢的难题,在算法效率上取得了较大改进。但本文处理结果仍然达不到人眼视觉的理想效果,下一步将对此进行研究,探索符合人眼视觉特性的ACE算法。

[1] 袁兴生,王正志.亮度补偿变换矩阵的颜色恒常性算法[J].中国图象图形学报,2012,17(9):1055-1060.

[2] Tan R T.Visibility in Bad Weather from a Single Image [C]//Proc.of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Press,2008:1-8.

[3] Provenzi E,Gatta C,Fierro M.A Spatially Variant White-patch and Gray-world Method for Color Image Enhancement Driven by Local Contrast[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(10):1757-1770.

[4] Rizzi A,Gatta C,Marini D,et al.Color Correction Between Gray World and White Patch[C]//Proc.of the 7th Conference on the Human Vision and Electronic Imaging.San Jose,USA:[s.n.],2002:367-375.

[5] Rizzi A,Gatta C,Marini D.A New Algorithm for Unsupervised Global and Local Color Correction[J]. Pattern Recognition Letters,2003,24(11):1663-1677.

[6] 袁雪庚,顾耀林.自动色彩均衡快速算法[J].计算机辅助设计与图形学学报,2005,17(10):2269-2274.

[7] 许 欣.图像增强若干理论方法与应用研究[D].南京:南京理工大学,2010.

[8] Fattal R,Lischinski D,Werman M.Gradient Domain High Dynamic Range Compression[J].ACM Transactions on Graphics,2002,21(3):249-256.

[9] 朱立新,王平安,夏德深,等.基于梯度场均衡化的图像对比度增强[J].计算机辅助设计与图形学学报, 2007,19(12):1546-1552.

[10] 陆宗骐,梁 诚.用Sobel算子细化边缘[J].中国图象图形学报,2000,5(6):516-520.

[11] 傅剑峰,汪荣贵,张新龙,等.基于人眼视觉特性的Retinex算法研究[J].电子测量与仪器学报,2011,25 (1):29-37.

[12] Munteanu C,Rosa A.Color Image Enhancement Using Evolutionary Principles and the Retinex Theory of Color Constancy[C]//Proc.ofIEEE SignalProcessing Society Workshop on NeuralNetworksforSignal Processing.[S.l.]:IEEE Press,2001:393-402.

[13] Gibbs A,Su F E.On Choosing and Bounding Probability Metrics[J].International Statistical Institute,2002,70 (3):419-435.

编辑 顾逸斐

Local Adaptive ACE Algorithm of Double Selective Pixels

WANG Jing,WANG Rong-gui,YANG Juan,LI Xiang
(College of Computer and Information,Hefei University of Technology,Hefei 230009,China)

An Automatic Color Equalization(ACE)algorithm based on double selective pixels and local adaptability is proposed in this paper to solve the problem that traditional ACE algorithm can’t keep original color information,and it is difficult to meet the real-time application for its highly complexity.The proposed algorithm transforms the obtained image into the YCbCr color space to hold the original color information,and reduces the computation complexity of the algorithm through selecting pixels with the gradient information of intensity image and the local mean-variance information.The local contrast is enhanced because of using local adaptive filtering to adjust the brightness control function of ACE algorithm.Experimental results show that the improved algorithm gets a better result which satisfies the human visual properties compares with Multi-scale Retinex with Color Restoration(MSRCR)algorithm and traditional ACE algorithm.Computational complexity is greatly improved as the algorithm runs faster than conventional ACE algorithm by about 150 times.

Automatic Color Equalization(ACE)algorithm;image enhancement;local adaptive;Multi-scale Retinex with Color Restoration(MSRCR)algorithm

1000-3428(2014)10-0186-06

A

TP391.41

10.3969/j.issn.1000-3428.2014.10.035

国家自然科学基金资助项目(61075032);安徽省自然科学基金资助项目(1408085QF117)。

王 晶(1990-),女,硕士研究生,主研方向:视频处理与分析,图像视觉增强系统;汪荣贵,教授、博士生导师;杨 娟,讲师、博士;李 想,硕士研究生。

2013-08-07

2013-09-17E-mail:wangjing8028@126.com

中文引用格式:王 晶,汪荣贵,杨 娟,等.双选像素点的局部自适应ACE算法[J].计算机工程,2014,40(10): 186-191.

英文引用格式:Wang Jing,Wang Ronggui,Yang Juan,et al.Local Adaptive ACE Algorithm of Double Selective Pixels [J].Computer Engineering,2014,40(10):186-191.