基于亮度传播图的低照度图像增强算法

牛　爽　尚媛园　丁　辉　栾　中

(首都师范大学信息工程学院　北京 100048)



基于亮度传播图的低照度图像增强算法

牛爽尚媛园丁辉栾中

(首都师范大学信息工程学院北京 100048)

摘要由于低照度图像的整体亮度比较暗、动态范围低、噪声大等特点，提出一种基于亮度传播图的低照度图像增强算法。考虑到低照度图像增强的同时也会放大噪声，因此在增强图像之前对图像进行去噪处理。使用BM3D在YCbCr空间对图像进行去噪之后，在HSI空间对图像进行增强，利用亮度分量估计亮度传播图，利用物理模型还原低照度图像。实验表明该方法能够快速有效地提高低照度图像的整体亮度和对比度，增强图像的细节并减少噪声，得到视觉效果良好的图像。

关键词图像增强低照度图像亮度传播图颜色空间BM3D

0引言

在低照度条件下，如阴雨天、夜晚或是在矿井等地，因为没有辅助光，得到的图像质量很差。这些图像不但人眼看起来视觉效果不佳，有些重要事物无法看清楚，而且在机器识别和监控跟踪方面也有很大的困难，造成低照度图像的实际应用性大大降低。想要对这些画质不佳的低照度图像加以应用，就必须对低照度图像进行增强和去噪处理，以改善低照度图像的质量。

传统的图像增强技术，如使用最为广泛的直方图均衡化方法，通过简单的统计计算就可以很大程度的提高对比度，但是丢失了细节和灰度级。彩色图像增强的算法比较常用的有Retinex理论和小波变换。传统图像增强方法没有考虑低照度图像的自身特点，效果并不理想。近几年，专门针对低照度图像增强的算法研究也有了很大的进步，研究最多的是基于Retinex理论的低照度图像增强算法[1-3]。这类算法对光照不均的图像有着较好处理效果，但是对于整体较暗的夜间图像处理效果并不理想，除了Retinex算法固有的晕轮效应不能完全消除，对于极低照度图像处理后会出现整个图像灰化的现象。此外Retinex算法对噪声非常敏感，使得处理低照度图像的时候并不能发挥它的优势。最基础的低照度图像增强算法仍然是直方图处理[4,5]，比如文献[4]对相似场景下的良好光照图片作为标准对低照度图像进行直方图规定化提高清晰度，直方图处理的方法简单，但是由于低照度图像在直方图中的信息都集中在亮度比较低的一端，对灰度级的合并和灰度分布范围的扩充使得这类算法的处理结果往往并不理想。基于小波变换的图像增强理论也是相关研究的热点[6]，经常与其他理论相结合，如模糊理论、融合思想等，小波变换的增强算法计算量都很大，不太适用于实际情况。在场景允许的条件下，多幅图像融合[7,8]对低照度图像增强是很有效的，由于需要同一场景下的良好质量图像信息，此类方法对图像获取环境有很高的要求。除上述几种主流算法之外，还有一些针对色彩空间的低照度图像增强方法[9,10]，但是往往对极低照度的图像效果并不好。文献[11]提出基于暗原色先验[12]的低照度图像增强算法，该算法快速有效，但是在亮点存在或是场景深度不连续的地方会出现光斑，细节处理也不够精细。

受上述反转去雾思想启发，本文提出一种基于亮度传播图的低照度图像增强的算法，针对低照度图像噪声大的特点，在图像增强之前对低照度图像进行去噪处理，避免了在增强图像的同时增强噪声。对传播图的估计方面也做了改进，利用HSI空间的亮度分量估计传播图，克服了之前因为亮度传播图不够精细带来的细节丢失的缺点。

1BM3D的低照度图像去噪

低照度图像噪声非常大，而且与图像信息相关性很高，直接进行增强的同时噪声也会随之增强，因此需要在图像增强之前先进行去噪。分析低照度图像的噪声，主要包括传输和存储过程产生的脉冲噪声，各种器件和传输通道产生的高斯噪声以及照度非常小的情况下产生的泊松噪声，其中泊松噪声对低照度图像的影象最大。因此，3D去噪比较适用于低照度图像，其中三维块匹配去噪法(BM3D)[13]被认为是目前最好的去噪方法，它是一种基于变换域的增强型稀疏表示的去噪方法。BM3D的主要思想和步骤如下：首先进行分组，这个过程是把相似结构的二维图像块组合在一起形成三维数组，分组之后采用协同滤波来得到最优估计，协同滤波得到的估计值可能会重复，对重复估计的估计值进行加权平均对图像块进行整合。

常用的彩色图像空间有RGB、YCbCr、HSI，每个空间都有它的优劣性。RGB空间的各分量之间相关性强，如果在RGB空间对图像进行去噪处理，颜色失真会很严重。YCbCr空间都是颜色和亮度分离的空间，并且与RGB空间的转换是线性的，同时由于人眼对Y分量相对敏感，因此对YCbCr的各个分量进行处理不会导致图像颜色产生严重失真。为了兼顾去噪的运算效率和颜色保真，本文使用YCbCr空间作为图像去噪实验场景。

2相关理论

本文算法中对图像的还原最终是基于物理模型的，物理模型中参数的估计是研究重点所在，使用经典的Koschmieder大气散射模型作为物理模型，并把暗通道理论作为先验条件来估计物理模型的参数。

2.1物理模型

经典大气散射模型公式如下所示：

I(x)=J(x)t(x)+A(1-t(x))

(1)

t(x)=e-βd(x)

(2)

其中，A是天空亮度，x是空间位置，I(x)是观测图像的强度也就是有雾图像，J(x)为去雾后的清晰图像，t(x)是大气传输函数，β是大气散射系数，d(x)为场景景深。式(1)中右边第一项为直接衰减项，是由于场景反射光传播至成像设备过程中大气粒子散射作用而衰减造成的，第二项为大气光成分，由自然光散射造成的。

2.2暗原色先验理论

He等人[12]对5000幅图像进行观察和统计得到暗原色先验理论，该理论开创了去雾理论的新领域。用公式描述，对于任意的图像J，我们定义：

(3)

其中，Jc代表J的某一个颜色通道，Ω(x)是以x为中心的一块方形区域，Jdark是图像的暗原色。根据暗原色先验理论，如果J是户外的无雾图像，Jdark的强度总是很低并且趋向于0，He等人用约5000幅去掉了天空区域部分的图像验证了该理论的正确性。

3本文的低照度图像增强算法

图1　算法流程图

对去噪之后的图像进行增强，本文的增强算法是基于物理模型提出的。据观察，低照度图像反转之后，天空和遥远的背景区域每个颜色通道的像素都很高，而非天空区域至少有一个通道亮度比较低，与浓雾条件下得到的图像很相似，因此可以将去雾算法应用于反转之后的低照度图像来增强低照度图像。对反转之后的低照度图像进行去雾处理之后再次反转回来就可以得到增强之后的低照度图像，本文在去雾过程中，用HIS空间的I分量来估计亮度传播图代替物理模型中的大气传播图，提高了增强后图像的亮度，而且细节方面更加精细。

本文算法的流程如图1所示。

3.1图像的反转和恢复

对低照度图像进行增强，首先要对原始图像R进行反转，反转公式为：

Ic(x)=255-Rc(x)

(4)

其中，c表示RGB颜色通道，Ic(x)是低照度图像的反转，Rc(x)是原始低照度图像。然后，用式(1)对Ic进行去雾，用He[8]的方法，利用暗原色先验来估计大气光A的值，首先选取暗原色中亮度最大的0.1%的像素，在这些像素对应的原图像中像素最大的值就是大气光，复原图像的公式如下：

(5)

得到去雾处理之后的图像，再一次进行式(4)反转操作，得到低照度图像的增强图像E。从式(5)可以看出，复原图像的重点在于合理估计传播图t(x)，这也是本文改进的重点，亮度传播图的估计将在下一节具体介绍。

3.2低照度图像的亮度传播图估计

将暗原色先验应用于雾天物理模型中，在A已知的情况下，假设局部区域内透射率恒定不变，对式(1)两端进行同样的最小值变形如式(6)所示：

(6)

无雾的条件下，暗原色值趋近于0，得到传播图t(x)如式(7)所示：

(7)

式(2)可以看出大气透射率t(x)是随着场景深度呈指数衰减，越远的景物具有越小的透射率，雾密集的地方亦然。但是，我们注意到低照度图像的反转图像并不是真正的雾天图像，它的传播图是与亮度是紧密联系的，而不是像雾天图像那样随景深衰减。这种情况下，传播图可以基于亮度分量来估计，因为原始图像越暗的地方，相应的反转图像雾越密集，如图2(b)所示。

图2　基于亮度传播图的低照度图像增强

要用亮度传播图来代替原来的大气传播图复原图像，首先需要将RGB图像转换成色度和亮度分离的图像，我们常用的色亮分离的颜色空间有HSI、HSV、YCbCr、Lab等。每一个颜色空间都有自己优点和缺点，在YCbCr空间进行亮度增强会导致颜色退色，HSI颜色空间从人的视觉系统出发，保持了颜色的恒常性，因此在HSI空间进行亮度和对比度拉伸不会造成颜色的改变，其中亮度分量可以表示如下：

L=(R+G+B)/3

(8)

亮度分量图像和暗通道先验得到的传播图有很大的不同，为了能够使亮度传播图代替大气传播图，必须使两者在效果和功用上近似。可以将传播图调整参数C减去图像中每一点的像素值进行反色变换来解决这个问题，仅仅这样，估计出的传播图很粗糙，处理的图像效果大打折扣，必须对亮度传播图细化。MSR变换有多个尺度的特征 ，综合了大中小尺度的优势 , 能够同时实现动态范围的压缩、边缘细节增强。本文首先用MSR处理亮度分量图，如式(9)所示：

(9)

对亮度分量进行MSR处理之后再进行反色变换，得到粗估计的传播图：

(10)

对粗估计的传播图进行中值滤波淡化亮度传播图的目标轮廓，使去雾后的图像含有更丰富的细节信息[14]，这样就得到了最终的亮度传播图，如图2(c)所示。

4实验结果分析

根据上述算法，对低照度图像进行增强实验，本次实验环境为：程序实现采用MATLABR2013a，主机配置为Inter(R)Core(TM)i5-3470CPU@3.20GHz，4GB内存，Window7操作系统。图3为基于物理模型的低照度图像增强效果图以及估计的亮度传播图，两幅实验图像采集设备型号为CanonPowerShotA3100IS，光圈值为f/2.7，图像尺寸2592×1944。从处理结果可以看出本文算法有效地消除了噪声，并且在整体亮度提升和边缘细节保持方面也有出色的表现，亮度传播图细节部分也有一定优势。

图3　本文算法处理结果

为了进一步验证本文算法的有效性和优势，图4给出了Dong[11]算法及本文算法的增强效果，在主观视觉效果方面将本文算法与Dong算法效果进行比较。从结果图可以看出，Dong的算法失真比较严重，而本文算法在保真方面做得就比较好，除此之外，本文处理的图像亮度提升和抑制噪声方面也有着明显优势。

图4　Dong算法与本文算法结果比较

除了主观视觉效果，还需要客观参数来对本文算法的优劣性进行评价。表1中平均亮度MeanG代表着增强后的图像平均亮度，MeanG的值越大，证明该算法增强的结果亮度提升效果越好，本文算法的平均亮度值均大于另一种算法。

表1　平均亮度MeanG比较

表2是四组图像的峰值信噪比PSNR对比，它代表着增强算法对图像的去噪处理效果，PSNR的值越大，证明该算法处理的结果去噪效果越好，本文在对四组图像的处理中PSNR均大于Dong的算法。

表2　峰值信噪比PSNR比较

表3是四组图像的运行时间Time(s)对比，它代表着增强算法的运算速度，运行时间越短，证明该算法的运算效率越高，本文算法的运行时间相比于另一种提升很大。

表3　运行时间Time比较

从结果看，三组对比中，本文算法的平均亮度和峰值信噪比都大于Dong算法，运行时间远远小于Dong算法，在亮度提升、抑制噪声效果和运算速度方面均有优势。

5结语

针对低照度图像的特点，提出一种基于物理模型的低照度增强算法。在增强之前先对低照度图像进行去噪，避免了因图像增强造成的噪声放大的问题，晚上拍的图像所含噪声大部分属于泊松分布的噪声，比较适合用3D去噪算法，既保证了有效去噪的同时色彩不失真，又提高了效率。在对反转之后的低照度图像进行去雾时，利用亮度图来估计亮度传播图，进一步提高了图像亮度和对比度，增强了细节。本文算法可用于智能监控系统，及对低照度图像中物体的识别追踪，对低照度环境下的目标检测识别准确率的提高有着重要意义，因此将本文算法应用于视频增强将是下一步研究的重点。

参考文献

[1] 朴燕,刘磊,刘笑宇.低照度环境下视频增强技术[J].红外与激光工程,2014,43(6):2021-2026.

[2] 潘平平,李德华.快速低照度图像增强算法研究与实现[J].微型机与应用,2012,31(20):42-47.

[3] 王闻博,穆向阳,汤楠.低照度图像增强算法[J].计算机与现代化,2014(1):27-31.

[4] 朱婧雅,王中元.基于相似场景的低照度监控图像增强[J].计算机应用与软件,2015,32(1):203-205,210.

[5] 韩殿元.低照度下视频图像保细节直方图均衡化方法[J].计算机仿真,2013,30(8):233-236.

[6] 尹士畅,喻松林.基于小波变换和直方图均衡的红外图像增强[J].激光与红外,2013,43(2):225-228.

[7] 张爱民.一种基于小波变换的夜视图像去噪和融合方法[J].电子测量技术,2015,38(1):38-40.

[8]RaoYunbo,ChenZhongbo,SunMingting,etal.Aneffecivenightvideoenhancementalgorithm[C]//ProceedingsoftheVisualCommunicationsandImageProcessing(VCIP),Tainan,2011:1-4.

[9] 陈勇,冯鹏,张开碧,等.低照度下具有动态特性的彩色图像质量优化算法[J].光电技术应用,2014,35(5):898-903.

[10] 蔡利梅,钱建生,罗驱波,等.一种基于色彩保持的低照度图像增强算法[J].计算机应用与软件,2009,26(3):226-227,243.

[11]DongXuan,WangGuan,PangLi,etal.Fastefficientalgorithmforenhancementoflowlightingvideo[C]//IEEEInternationalConferenceonMultimediaandExpo(ICME),Barcelona,2011:1-6.

[12]HeKaiming,SunJian,TangXiaoou.Singleimagehazeremovalusingdarkchannelprior[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Alaska,2009:1956-1963.

[13]KostadinDabov,AlessandroFoi,VladimirKatkovnik,etal.Imagedenoisingbysparse3Dtransform-domaincollaborativefiltering[J].IEEETransactionsonImageProcessing,2007,16(8):1-16.

[14]GuoFan,CaiZixing,XieBin,etal.Automaticimagehazeremovalbasedonluminancecomponent[C]//InternationalConferenceonWirelessCommunicationsNetworkingandMobileComputing(WiCOM),Chengdu,2010:1956-1963.

LOW ILLUMINATION IMAGE ENHANCEMENT ALGORITHM BASED ONLUMINANCETRANSMISSIONMAP

Niu ShuangShang YuanyuanDing HuiLuan Zhong

(School of Information Science and Technology,Capital Normal University,Beijing 100048,China)

AbstractLow illumination images always have lower overall brightness, low dynamic range and high noise. Because of these characteristics, we proposed an enhancement algorithm for low illumination image which is based on luminance transmission map. Considering that while enhancing the low illumination image the noise will be amplified as well, it needs to reduce image noise before image enhancement. We first used BM3D (block matching 3D) for image denoising in YCbCr space, then we enhanced the image in HSI space, and used luminance component to estimate the luminance transmission map, finally we used physical model to restore the low illumination image. Experiments showed that the method could rapidly and effectively improve the overall brightness and contrast of the low illumination image, enhance the detail of the image and reduce noise as well, and get an image with good visual effect.

KeywordsImage enhancementLow illumination imageLuminance transmission mapColour spaceBM3D

收稿日期：2015-03-13。国家自然科学基金项目(11178017，6137 3090，61303104，61203238)；北京市自然科学基金项目(4132014)。牛爽，硕士生，主研领域：数字图形处理，视频处理，模式识别。尚媛园，教授。丁辉，副教授。栾中，博士生。

中图分类号TP391

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.06.041