背光图像的检测与校正

许少秋，杨 群，钟小芸，骆德汉

广东工业大学 信息工程学院，广州 510000

背光图像的检测与校正

许少秋，杨 群，钟小芸，骆德汉

广东工业大学 信息工程学院，广州 510000

针对传统背光图像检测低准确率问题，提出一种新的背光图像检测和校正算法。通过分析图像在不同Gamma变换下前景细节数目的变化规律来判断输入图像是否存在背光。对背光图像的前景、背景子图像进行多尺寸Retinex图像算法，然后与原图进行融合。根据实验可知，提出的背光图像检测算法相对于传统的亮度直方图分析方法以及YCbCr直方图分析方法具有更高准确率；提出的背光校正算法相对于AHMHE背光补偿算法和多尺度Retinex算法具有较高信息熵、清晰度和对比度。

背光图像检测；背光图像校正；Gamma变换；多尺度Retinex；图像融合

1 引言

随着科技的发展，人们对图像质量的要求越来越高。在现实生活中，由于光照或者拍摄角度的影响，背光图像会不可避免地出现。背光可导致图像模糊或颜色偏暗，使显示质量大幅度下降，增加后续处理（例如分割、检测、识别等）的难度。背光图像检测及校正的目的是先判断图像是否背光，然后对背光图像进行修正，同时保持整幅图像的平滑性与完整性。

常用的背光检测方法[1-5]可分为基于亮度直方图的检测方法[1-4]和基于颜色直方图的检测方法[5]。基于亮度直方图的检测方法通过检测图像的亮度分布是否存在明暗两个明显分隔的区域来判断图像是否背光，其低复杂度特性使该方法成为最常用的背光图像检测方法，但有时正常光照图像的亮度直方图也具有这种特征，从而造成误检测。基于颜色直方图的检测方法通过分析图像颜色分布的集中程度来判断图像是否背光，由于颜色信息丰富且便于提取，这种检测方法也具有较高的竞争力。该方法的缺陷是无法正确检测出颜色种类单调的正常光照图像或颜色种类丰富的背光图像。

虽然现在很多背光图像校正的方法[1-4]能有效地修正图像的亮度，但存在图像颜色失真和对比度降低等问题。目前常用的背光图像对比度增强方法主要有：直方图变换法[6]、图像融合法[7]、多尺度Retinex算法[8-9]等。直方图变换法采用直方图均衡化，能自适应地提高图像亮度的动态范围，在图像增强中被广泛使用，但由于变换后图像亮度级减少，导致图像的细节丢失；图像融合方法使用模拟相机的功能函数产生不同亮度的虚拟图像，再用小波融合将这些不同亮度的虚拟图像融合，这种方法能有效地提高背光图像的对比度，但耗时较长，不适合实时处理；传统的多尺度Retinex算法基于光照平缓变化的假设，在光照均匀的场景下能有效地增强曝光不足的图像，但是当图像的前景与背景的亮度存在较大差异时，会导致处理后的图像在明暗对比处产生明显的光晕效应。

针对现有检测与校正算法存在的这些问题，本文提出一种基于细节的背光图像检测方法，并对多尺度Retinex算法进行改进，提取背光图像的前景和背景进行多尺度Retinex处理，把处理前后的结果进行融合。相比传统的多尺寸Retinex算法，改进后的算法能有效消除光晕效应。

2 背光图像检测

2.1 背光图像分析和Gamma校正

当光源位于图像感兴趣区域的后方时，由于感兴趣区域曝光不足，导致背光图像的产生。背光图像具有以下几个明显的特征：前景区域即感兴趣区域和背景区域之间的亮度差异大；背光图像的颜色分布比较集中；背光图像的前景区域内容不清晰[10]。

背光图像由于前景亮度较低而导致前景可见细节少，这可以通过提高背光图像的亮度从而增加图像的可见细节。Gamma校正[11]可用于调整图像的亮度，它具有简单且容易实现的优点。使用的公式如下：

其中I是图像亮度，γ是校正参数，通过设置不同的γ值可调整图像的显示效果。图1是不同γ值对应的Gamma曲线。当γ值等于1的时候，校正前后图像的亮度相同；当γ值大于1时，原图像的高光部分被压缩而暗调部分被扩展；当γ值小于1时，原图像的高光部分被扩展而暗调部分被压缩。图2（a）和（b）是背光图像和正常光照图像经过Gamma校正（γ=0.5）后的结果对比。可以看出，背光图像Gamma校正后，图像的可见内容增加，而正常光照图像在Gamma校正后，可见内容没有明显的变化。

图1 不同γ值对应的Gamma曲线

图2 背光图像与正常光照图像的Gamma校正、前景分割以及边缘检测

2.2 图像细节分析

图像的细节包括图像的边缘信息和区域分割信息。通常来说，图像包含的边缘越多，图像的细节越丰富。因此，可利用图像前景的边缘点数量来描述图像的细节数量。边缘点检测通过Canny算子获得。

由于背光图像的明显特征是前景部分比较暗而背景部分比较亮，因此，可通过Liao等人提出的快速Otsu阈值分割算法[12]实现前景的分割。该方法选择使图像亮度类间方差达到最大时的值作为分割的阈值，符合人眼的视觉特性。当图像的亮度分量小于阈值时则为前景，否则为背景。

图像是否存在背光可通过分析Gamma校正前后前景细节的变化来确定。Gamma校正前后细节的变化定义如下：其中，D和D′为图像Gamma校正前后的细节数目。当∆D=0表示前后图像细节数量没有变化；当∆D＞0表示校正后图像细节增多；当∆D＜0表示校正后图像细节减少。

图2（a）中背光图像和正常光照图像的前景分割结果如图2（c）所示。图2（d）和（e）分别给出了图2（c）中前景区域在Gamma校正前后的边缘检测结果。可以看出，背光图像通过Gamma变换(γ=0.5)后，前景区域的可见细节数量明显增加，而正常光照图像通过Gamma变换(γ=0.5)后前景区域的可见细节数量变化不大。因此，可根据Gamma变换前后前景的细节数目变化大小来判断输入图像是否是背光图像。图3给出了正常光照图像（500张）和背光图像（500张）在Gamma校正前后前景细节变化情况的例子。

图3 500张背光图像和500张正常图像Gamma（γ=0.5）变化后的细节增加情况

2.3 Gamma校正参数确定

为了选取合适的γ值来分析图像Gamma变换前后前景细节的变化，本文分析了500张背光图像和500张正常光照图像在不同γ值时对应的前景细节变化平均值，结果如图4所示。当0.02≤γ≤1时，背光图像校正后的细节增加，变化幅度大，γ为0.22时细节数量的增幅达到最大，而正常光照图像校正后的细节增加不明显，甚至出现过度曝光反而使细节数量减少。因此，可以选取γ=0.22作为执行Gamma变换时的参数。

图4 背光图像和正常光照图像在不同Gamma校正参数时的平均细节变化

2.4 细节变化阈值确定

由于不同图像Gamma变换后细节数目变化不同，需要确定一个合适的细节变化阈值来判断图像是否存在背光。图5给出了500张背光图像和500张正常光照图像在选取不同阈值T时的背光检测准确率统计曲线。可以看出，当细节变化阈值T为0.63时，检测的准确率最高。因此，选取0.63作为Gamma校正前后细节变化的阈值。当∆D≥0.63时则认为输入图像是背光图像，否则为正常光照图像。

图5 准确率统计图（γ=0.22）

3 背光图像校正

3.1 多尺寸Retinex算法（MSR）

多尺度Retinex（Multi-scale Retinex，MSR）算法[9]由J.Jobson等人提出，是单尺度Retinex（Single-Scale Retinex，SSR）算法[13]在多个尺度上的延伸，两者都是通过原图像与高斯函数卷积来估算入射光照分量。单尺寸Retinex（SSR）的数学表达式为：

其中(x ,y)为像素坐标，I为图像亮度分量，R为反射分量，F为高斯核函数。Retinex算法的卷积项可看作是对入射光照的估算，其物理意义是通过计算像素与其周围区域加权平均值的比值来消除光照变化的影响。高斯核函数的表达式为：

其中，s为常数。当s取值较大时，增强图像比较逼真，但局部细节不清晰；s值取较小时，增强细节突出，但输出颜色易失真。K为归一化因子，使

SSR在一定程度上可以实现动态范围的压缩或者色调重现，但不能同时兼顾。为了使图像局部细节清晰显示并且颜色不失真，Jobson等人提出多尺度Retinex算法（MSR）。表达式如下：

其中，N为尺度个数；wn为第n个尺度的权值，rn为第n个尺度的反射分量对数值。经典的多尺度算法一般取小(s=15)、中(s=80)、大(s=250)三个尺寸。

MSR算法假设光照平缓变化，在光照均匀的场景下，能在一定程度上有效增强曝光不足的图像，但是当图像的前景背景亮度差异较大时，处理后的图像在明暗对比处会产生明显的光晕。图6给出了MSR处理前后图像的对比例子。可以看出，MSR处理后图像的前景和背景边缘处产生了明显的光晕（红圈部分）。针对这种情况，本文提出一种改进的多尺度Retinex融合算法，能消除传统多尺寸Retinex算法产生的光晕，并抑制颜色失真。

图6 MSR处理前后图像对比

3.2 多尺度Retinex图像融合算法

3.2.1 亮度分量提取

MSR算法直接对RGB三个颜色分量进行高斯函数卷积，由于图像RGB三个分量具有相关性，这种处理必然会导致图像颜色失真。本文通过提取图像的亮度分量，只将亮度分量进行高斯卷积，最后再重建RGB颜色分量。亮度分量的数学表达式如下：

其中 R、G、B为(x ,y)位置的红、绿、蓝值。

3.2.2 图像融合

两幅图像 f1(i , j)和f2(i , j)(i=0,1,…,M-1；j=0,1,…,N-1)可通过以下公式进行融合[14]：

其中，p1和 p2是权系数，满足条件：

p1和 p2的大小可以调节图像 f1(i , j)和f2(i , j)在融合图像F(i , j)中所占比例的大小。

利用快速Otsu阈值分割算法[12]对图像亮度分量进行分割，获取前景子图像Yfg和背景子图像Ybg。当亮度小于阈值时则为前景，否则为背景。将背景子图像Ybg和前景子图像Yfg进行MSR处理后通过高斯低通滤波器，再与原图像通过高斯低通滤波后的结果进行融合得到新图像YMSR_f。

3.2.3 颜色重建

为了避免处理后的图像出现色调偏移和颜色饱和度降低，需要对RGB颜色分量进行重构，其公式如下：

经过重构后的图像能有效消除传统MSR算法处理产生的光晕，并抑制图像颜色失真。

4 实验结果与分析

测试图片包括600张背光图片和600张正常光照图片，由日常生活中拍摄的照片和网络图片以及其他背光图像检测论文的图片组成。算法在Matlab平台实现。

4.1 背光检测

表1提供了三种背光图像检测算法的准确率以及运行时间。可以看出，提出的基于细节分析的背光图像检测算法的准确率达到95%，高于基于亮度直方图的背光图像检测算法[3]和基于YCbCr的颜色背光检测算法[5]（分别为84%和85.5%）；而所需的平均运行时间为0.98 s，略大于基于YCbCr的颜色背光检测算法（0.95 s）。

表1 背光图像检测算法准确率及运行时间

4.2 背光图像校正

为了证明多尺度Retinex融合算法的有效性，分别从主观效果和客观评价两个方面对其进行验证，将算法结果与AHMHE背光补偿算法[6]和传统多尺度Retinex算法[8]进行比较。

图像增强的主要目的是使图像转变成更适合人眼观看的形式，所以通过人眼来评价图像的质量是合理的。从图7可以看出，提出的MSR融合算法和其他两种算法都实现了对背光区域的亮度补偿。AHMHE采用直方图均衡化的改进算法，由于灰度级合并，不可避免地造成图像细节的缺失，导致处理后的图像看起来比较粗糙。传统MSR处理后的图像背景曝光过度，也导致了图像信息缺失，出现颜色失真。而本文提出的MSR融合算法不仅补偿了图像的背光（前景）区域，还同时保持了背景区域的真实性。

为了让评价结果更加客观准确，使用信息熵、清晰度和对比度作为评价指标。图像的信息熵越大，则图像携带的信息越多；清晰度用来衡量图像各细部影纹及其边界的清晰程度；图像的对比度用来衡量图像的细节表现及灰度层次表现等。三者分别计算如下：其中P(i)是像素值i在图像中出现的概率，n为灰度值范围；Ix(i , j)和Iy(i , j)分别是I在x和y方向上的导数；μ和σ2为I的均值和方差。

图7 背光处理算法效果比较

表2是600幅背光图像采用不同方法校正后的信息熵、清晰度和对比度平均值。结果表明，改进的算法优于直方图均衡算法和传统MSR算法。

表2 背光图像校正算法评估

5 结束语

本文提出了基于细节变化的背光图像检测方法和基于多尺度Retinex融合的背光图像校正算法。实验表明，基于细节变化的背光图像检测算法准确率达到95%，优于传统的亮度直方图分析方法以及YCbCr直方图分析方法，改进的多尺度Retinex融合算法能消除光晕并抑制颜色失真，相对于AHMHE背光补偿算法和传统的多尺度Retinex算法，具有较高信息熵、清晰度和对比度。

[1]Shimizu S，Kondo T，Kohashi T，et al.A new algorithm for exposure control based on fuzzy logic for video cameras[J].IEEE Transactions on Consumer Electronics，1992，38（3）：617-623.

[2]Murakami M，Honda N.An exposure control system of video cameras based on fuzzy logic using color information[C]//IEEE International Conference on Fuzzy Systems，1996，3（6）：2181-2187.

[3]Chin C L，Lin C T.Detection and compensation algorithm for backlight images with fuzzy logic and adaptive compensation curve[J].Internal Journal of Pattern Recognition and Artificial Intelligence，2005，19（8）：53-58.

[4]Su Muchun，Yang Yuanshao，Lee J，et al.A neuro-fuzzy approach for compensating color backlight images[J].Neural Processing Letters，2006，23（3）：273-287.

[5]Park H J，Han S W.Detection of backlight images using chrominance[J].Proc Spie，2012，8292（1）：132-137.

[6]Kang B，Jeon C，Han D K，et al.Adaptive height-modified histogram equalization and chroma correction in YCbCr color space for fast backlight image compensation[J].Image and Vision Computing，2011，29（18）：557-568.

[7]Lee C H，Chen L H，Wang W K.Image contrast enhancement using classified virtual exposure image fusion[J].IEEE Transactions on Consumer Electronics，2012，58（4）：1253-1261.

[8]闫钧宣，张科.HSI空间亮度信息的多尺度Retinex图像增强研究[J].计算机工程与应用，2010，46（23）：31-33.

[9]刘茜，卢心红，李象霖.基于多尺度Retinex的自适应图像增强方法[J].计算机应用，2009，29（8）：2077-2079.

[10]王慧博.图像与视频背光补偿技术研究与实现[D].西安：西安电子科技大学，2009.

[11]储清翠，王华彬，陶亮.图像的局部自适应Gamma校正[J].计算机工程与应用，2015，51（7）：189-193.

[12]Liao P S，Chen T S，Chung P C.A fast algorithm for multilevel thresholding[J].Journal of Information Science and Engineering，2001，17（5）：713-727.

[13]王小明，黄昶，李全彬，等.改进的多尺度Retinex图像增强算法[J].计算机应用，2010，30（8）：2091-2093.

[14]敬忠良.图像融合[M].北京：高等教育出版社，2007.

XU Shaoqiu,YANG Qun,ZHONG Xiaoyun,LUO Dehan

College of Information Engineering,Guangdong University of Technology,Guangzhou 510000,China

Detection and correction of backlight images.Computer Engineering and Applications,2017,53（21）：174-178.

This paper proposes a new backlight image detection and correction algorithm.The change of the number of foreground details under various Gamma correction is analyzed for the determination of backlight image multi-scale Retinex algorithm is performed on the background and the foreground of the backlight image.The outputs are fused with the original image.The experimental results show that the proposed backlight image detection algorithm outperforms the intensity histogram based method and the YCbCr histogram based method,the proposed backlight image correction algorithm has higher information entropy,definition and contrast than the AHMHE backlight image compensation algorithm and multi-scale Retinex algorithm.

backlight image detection;backlight image correction;Gamma correction;multi-scale Retinex;image fusion

A

TP751.1

10.3778/j.issn.1002-8331.1605-0135

国家自然科学基金（No.61571140，No.61571139）；广州市珠江科技新星专项（No.2014J2200085）。

许少秋（1978—），女，博士，副教授，主要研究领域为计算机视觉与智能系统，E-mail：shaoqiuxu@gdut.edu.cn；杨群（1991—），男，在读硕士研究生，主要研究领域为图像处理；钟小芸（1990—），女，硕士，主要研究领域为图像处理；骆德汉（1958—），男，博士，教授，主要研究领域为仿生嗅觉与智能信息。

2016-05-12

2016-08-15

1002-8331（2017）21-0174-05

CNKI网络优先出版：2016-11-21,http://www.cnki.net/kcms/detail/11.2127.TP.20161121.1652.006.html