基于照度调整的矿井非均匀照度视频图像增强算法

智 宁，毛善君，李 梅

(北京大学 地球与空间科学学院,北京 100871)

基于照度调整的矿井非均匀照度视频图像增强算法

智 宁，毛善君，李 梅

(北京大学 地球与空间科学学院,北京 100871)

由于煤矿井下空间环境受粉尘等因素的影响，视频监控系统获取的作业环境图像存在照度低、照度不均匀等问题，而且现有的算法在处理煤矿非均匀照度图像时会出现颜色失真或者过增强现象，这不利于对图像的判读和应用。结合煤矿的实际数据，提出了一种新的图像增强算法，克服了现有算法存在的问题：分析井下视频图像特点，采用具有边缘保持特性的多尺度引导滤波获取照度分量;基于Retinex理论，将图像分解为照度分量与反射分量;针对照度不均匀的特性，提出一种新的“S型”曲线函数对其进行调整;分析图像的特性，引入受限对比度自适应直方图对其对比度进行增强;提出新的图像增强模型，利用细节增强系数和照度增强系数实现对图像的综合增强。与其他4种算法的对比试验表明，本文算法在主观评价和客观评价方面都优于上述算法。实验证明，本算法具有有效提升图像整体亮度和对比度，同时避免光源附近亮区域的过增强现象的特点，能够满足矿山实际应用需求。

非均匀照度;多尺度引导滤波;亮度调整;细节增强参数;照度增强系数

煤矿视频监控是煤矿安全生产监控系统的重要组成部分，为保障煤矿企业的生产提供了强有力的支持与保障。随“工业4.0”在煤矿行业的推进，“高科技煤矿”信息化建设[1-2]逐渐成为煤矿从业人员的共识，视频图像处理作为“智慧煤矿”数据采集和分析的基础，将扮演着越来越重要的作用。

由于煤矿井下环境受粉尘因素的影响以及采用人工光源照明等原因，使得监控视频获取的图像表现出显著的非均匀性，即存在明显的低照度区域和高照度区域。除光源照射区域附近的图像较清晰外，其余区域亮度和对比度都比较低。在图像处理中，通常称此类图像为非均匀照度图像(Non-Uniform Illumination Image)。直方图均衡化算法[3],Retinex算法[4-5]、广义反锐化掩膜算法[5]，均可用于非均匀照度图像的增强。与此同时，有许多学者针对煤矿领域井下图像增强问题进行了科学研究与探索[7-10]。

上述算法均能有效实现煤矿井下非均匀照度图像的增强。然而存在如下问题：① 对灯光等亮区域的抑制不住，造成增强后亮区域的范围扩大，即产生过增强现象;② 由于照度的不均衡，使得增强后的图像容易出现色彩失真的现象。针对存在的问题，本文基于Retinex算法，提出通过调整照度分量而非去除照度分量的方法，来实现图像的增强。

1 Retinex算法及分析

Retinex为建立在科学实验和科学分析基础上的一种图像增强方法，由Edwin.H.LAND于1963年提出。近几年来，Retinex算法已经从单尺度Retinex算法 (Single Scale Retinex,SSR)发展到多尺度加权平均的Retinex算法[11](Multi-Scale Retinex,MSR)，再发展成带色彩恢复的多尺度Retinex算法[12](Multi-Scale Retinex with Color Restoration,MSRCR)。

Retinex理论认为图像由照度分量和图像分量两部分组成，通过从原始图像中剔除光照的影响，来获得物体的反射信息从而实现增强。Retinex理论的图像模型为

式中，I(x,y)表示原图像;L(x,y)和R(x,y)分别表示图像的照度分量和反射分量。

照度分量L(x,y)反应了入射到物体上的光源能量总和，它表示了图像中变化缓慢的低频信息，满足L(x,y)∈[0,]。反射分量R(x,y)是物体的反射系数，它包含了图像的高频的细节部分，满足R(x,y)∈[0,1]。对式(1)两端取对数，并调整位置可得：

式(2)中照度分量L(x,y)反映图像的低频信息，通过对原图进行低通滤波来获取。常用滤波方法包括频域的低通滤波，空域的高斯滤波等。由于高斯滤波不具有边缘保持特性，双边滤波、引导滤波逐渐被用于图像照度分量的估计并取得较好的效果。

单尺度Retinex算法可以表示为

logR(x,y)=logI(x,y)-log LPF(I(x,y))

式中，LPF(·)表示低通滤波。

滤波器的尺度会对图像的照度分量的估计产生影响，因此MSR算法采用多个尺度的滤波器对图像的低频信息进行估计，使得照度分量能够更好反映原始图像的光照信息。MSR算法可以表示为

式中，N表示选取的尺度个数;S(n)表示对应选取的尺度大小;Wn表示相应尺度的占比系数。

2 基于照度调整的矿井非均匀井下图像增强算法

针对传统Retinex在处理非均匀照度图像时存在的过增强以及色彩失真等问题，本文提出基于照度调整的煤矿井下非均匀照度图像增强算法，其流程如图1所示：① 获取亮通道图像，并使用多尺度引导滤波对其进行处理，获取图像的照度分量;② 基于Retinex理论，在对数域中提取反射分量;③ 对照度分量进行均衡化调整;④ 对照度分量进行对比度增强;⑤ 在对数域中，融合调整后照度分量和反射分量，得到增强图像。

2.1 引导滤波算法

引导滤波(Guided Filtering)[13]由HE等在2010年提出。引导滤波器的核心是假定引导图像与滤波输出图像存在局部线性关系，即在以像素k为中心的窗口ωk中存在如下线性关系:

图1 基于照度调整的煤矿井下非均匀图像增强算法流程Fig.1 Flowchart of illumination adjustment based underground mine non-uniform image enhancement algorithm

式中，Ii为引导图像的像素值;qi为输出图像的像素值;ωk为半径为r的滤波窗口;(ak,bk)为滤波窗口ωk的线性系数。

式中，ε为一个防止ak过大的正则化系数;通过最小化代价函数E(ak,bk)获得线性系数(ak,bk)，即

式中

从滤波效果来看，引导滤波利用像素邻域内的局部均值和方差来估计局部亮度，可以根据图像内容自适应输出权重。引导滤波器的一个重要系数即滤波窗口半径r，在用于照度分量的估计时，滤波窗口半径反映了不同尺度下图像平缓变化的低频信息。

2.2 煤矿井下非均匀图像增强算法

2.2.1基于引导滤波的照度估计

计算图像的亮通道图像，用于照度分量的估计。即取每个像素位置上3通道中的最大值。

式中，Ic(x,y)表示原始图像;L(x,y)表示原始图像在(x,y)上3通道的最大值。

由2.1节可知，引导滤波具有边缘和角点保持的特性。为获取图像不同尺度上的信息，选用多尺度引导滤波来估计照度分量，即

式中，F(x,y)表示照度分量，通过对亮通道图像进行带有双系数的引导滤波来获得;⊕G(K,r)表示在L(x,y)上使用引导滤波;K表示引导图像;r表示滤波尺寸。

在本文的算法中，引导图像K取原图像L(x,y)。滤波器的尺寸的设置如下：

其中，「*⎤表示取整操作;h和w表示相应图像的高度和宽度。通过小尺度滤波器获取的照度分量反映了图像的广义结构，而滤波器的尺寸越大，表明照度分量中包含了更多的细节信息。

2.2.2获取反射分量

图像的反射分量可以通过如下方式获取：

式中，Ic(x,y)表示颜色通道c的像素值;Rc(x,y)表示相应的反射分量;F(x,y)为照度分量。

为计算方便，通常在对数域中完成。

由于煤矿煤矿井下非均匀照度图像中经常存在较大区域像素值较低，容易造成获取的反射分量存在分块效应，如图2(c)所示。为了消除方块效应，使得最终图像更加平滑，定义如下目标函数：

图2 反射图及消除方块效应的反射图Fig.2 Original reflection component and the deblocked reflection component

式(17)中的第1项是数据项，刻画消除方块效应后的反射分量与原反射分量的接近度;第2项为正则项，用于光滑细小范围内的方块效应。β为正则项系数，用于控制光滑程度，经过实验发现，将其设置为10将取得比较好的效果。式(17)中可以通过快速傅里叶变换进行快速求解，具体解法可以参照文献[14]。由图2(d)可知，反射图中的方块效应得到有效的消除。

2.2.3使用S型曲线函数对照度进行均衡化调整

由于矿井图像中同时存在亮区域与暗区域，有必要对图像的照度分量进行均衡，从而提升低亮度区域像素值、抑制高亮度区域的像素值。为此，本文提出一种新的S型曲线函数对照度分量进行亮度调整，其表达式为

本文中称式(18)中a是照度调整系数，取值范围为[0.1,2.0]。该表达式的函数图像如图3所示。由图4可知，对于a=1的情形，x∈[0,0.5)时，曲线是凸函数，将提升像素值;x∈[0.5,1]时，曲线是凹函数，将抑制像素值。由于煤矿井下图像的整体偏暗，需要对图像的大部分偏暗区域进行照度提升，同时抑制高值区域，因此建议将a值设定为0.5。

图3 细节增强系数对图像增强效果的影响Fig.3 Effect of detail enhancement coefficient

图4 S型曲线函数Fig.4 S-shaped curves function

2.2.4基于受限自适应直方图均衡化的对比度增强

考虑图像的视觉效果不仅与图像的亮度分布相关，还和图像的对比度有关。考虑受限自适应直方图均衡化算法[15](Contrast Limited Adaptive Histogram Equalization,CLAHE)能够在增强图像对比度的同时抑制噪声，从而更好的突出图像细节,本文将采用CLAHE算法对图像进行处理。

CLAHE能够在对图像进行局部直方图均衡化的同时考虑方块周围其他分块区域的影响，使得处理后的图像不仅具有局部直方图均衡化后调整不同区域灰度分布差异的优点，还具有全局直方图均衡化后分布比较均匀的效果。CLAHE可以表示为

式中，hw为分块窗口内的归一化直方图;hb为分块窗口外的归一化直方图，并且0≤β<1。

可以通过对β调节局部直方图的方法来模拟周围环境对相关区域的影响。CLAHE算法[16]的具体步骤为

(1)从调整后的照度图Ls中任取一点，根据矩形窗口大小确定其相关区域，并利用式(19)计算窗口内像素灰度直方值;

(2)对相关区域的进行直方图均衡化操作;

(3)移动窗口到下一个邻近的像素，重复以上过程直到整幅图像处理完毕。并用LA表示最终输出的对比度增强后的照度图。

2.2.5基于照度分量和反射分量的图像融合

照度信息对于色彩的保持非常重要的。急剧变化的照度信息不利于图像细节的展示。为了在保持色彩恒常性的同时增强图像细节，将Rc(x,y)和LA(x,y)融合并得到最终的图像。

这一步也是在对数域中完成的。

由于煤矿井下非均匀照度图像整体偏暗，造成图像的梯度整体偏低，为进一步提升增强图像的对比度，本文简单的在式(21)中引入一个细节增强系数γ，用来增强图像的细节，即

由式(22)可以看出，γ是在对数域中对图像的反射分量进行处理，从而使得融合后的图像更加符合人眼特性。事实上，γ能够有效的对图形进行细节增强，这将在实验部分进行介绍。

3 实验结果

3.1 参数对实验结果的影响

在本文实验中，式(18)中的照度调整系数a和式(22)中的细节增强系数γ对实验结果都有着重要的影响。

细节增强系数γ通过在对数域中对图像的反射分量进行增益来实现图像细节的增强。本文根据实验建议γ的取值范围为[1.0,3.5]。一般而言，随γ的增加，图像的细节增强更加明显。图4展示了不同的γ对图像细节增强的影响，其中照度调整系数固定为0.2。

煤矿井下非均匀图片具有整体亮度较低但存在局部高亮度区域的特点，因此采用式(18)对其进行调整。照度调整系数具有两个作用，即增强整体亮度及抑制局部高亮度区域。本文通过多次实验，建议亮度调整系数a的取值范围为[0.1,2.0]。通过分析易知，随a的减少，式(18)对低亮度区域的提升越强，而对高亮度区域抑制的范围越小。图5展示了不同亮度调整系数a对图像增强的影响，其中细节增强系数γ设为1.5。由图5可知，随a的增加，图像的整体亮度有所降低。

图5 照度增强系数对图像增强效果的影响Fig.5 Effect of illumination enhancement coefficient

3.2 单幅煤矿非均匀照度图像的处理

本文基于Matlab平台实现了本文所提出的算法，为合理评价本文所提算法，选取有代表性的受限自适应直方图均衡化算法(CLAHE)[15]，带彩色恢复的多尺度Retinex算法(MSRCR)，以及文献[17]提出的非均匀照度图像自然色彩恢复算法(Efficient Naturalness Restoration Algorithm,ENRA)，文献[18]提出的基于自然色彩保持特性的增强算法(Naturalness Preserved Enhancement Algorithm，NPEA)进行实验对比。其中，CLAHE算法可以直接调用Matlab中的函数，MSRCR算法来自于文献[19]提供的Matlab代码，ENRA算法和NPEA算法都来自于文献[17-18]提供的源代码，其参数设置都按照笔者相关论文推荐的参数。

图6(a)为利用鱼眼镜头拍摄的煤矿井下图像。由图6可以看出，图像整体的亮度和对比度都比较低，同时存在较小的区域亮度值比较高。通过各算法的处理，图像的亮度和对比度都有了明显的增强。CLAHE算法处理的结果存在过增强的现象，表现在图6(a)中白色墙壁经增强后呈现出颜色过黑。而MSRCR算法处理的图像整体对比度比较低，同时令人感觉图像表面蒙着一层粉尘。ENRA算法和NPEA算法和本文算法都能够在增强图像亮度和对比度，同时保持色彩的自然性，相比较而言文算法处理的结果亮度更高，细节也更加明显，表现出本文算法的优越性。图7(a)为利用防爆相机拍摄于煤矿井下主巷的图片，图中整体亮度和对比度都比较低，同时灯光部分亮度较高。经MSRCR算法处理的图像色彩泛白，出现了颜色失真。相比较于本文算法，CLAHE算法、ENRA算法对图像的亮度增强不足，CLAHE算法处理过的图像整体亮度不足，而ENRA算法处理过的图像在图像的下方增强不足。NPEA算法处理的图像存在轻微的颜色泛白，同时清晰度不如本文提出的算法。由上述分析可知，本文算法能够有效的提升图像的整体亮度和对比度并对高亮度区域进行抑制，从而展现了本文算法的有效性。图8展现了本文算法对煤矿井下其他不同场景拍摄的非均匀照度图像的增强效果。

图6 算法比较Fig.6 Comparison results of algorithms

本文选取局部标准差平均值(Average Local Standard Deviation，ALSD)，信息熵(Entropy)，以及平均梯度(Average Gradient,AG)[20]来客观评价算法结果。

ALSD首先将图像进行分块(本文中分块尺寸为25×25)，取分块图像的标准差平均值作为图像对比度评价指标。

图7 算法比较Fig.7 Comparison results of algorithms

信息熵用于度量图像信息的丰富程度，信息熵越大表明信息越丰富，其定义为

平均梯度，反映图像细节对比的表达能力，它是图像清晰度的重要表征。

表1分别表示局部标准差平均值、信息熵和平均梯度的评价结果。其中编号1～6分别表示图6～8中的6幅图像。由表1可知，CLAHE,MSRCR,ENRA,NEPR以及本文算法都能够有效对图像进行增强，增强后的图像在图像对比度、图像信息熵、图像清晰度方面都较原图像高。除编号为5的图片外，本文算法对其他所有图像的增强效果在图像对比度、图像信息熵、图像清晰度方面都优于其他处理算法，展现了本文算法的优越性。

表1不同算法处理的结果评价
Table1Comparisonofprocessedresultsbydifferentmethods

参数原图CLAHEMSRMSRCRENRANEPR本文17431984134316961689229126472839237016541756292329754338局部方差平均值3876230813671610267226693444414832977292033143078293542045266030842695283340953445391361712246019931975249326343355122665339740653261678623621134768773143414271926信息熵332610115625711035114613954433102610461012112291713595794129811211122183615701604644871961958677674190016587317337367547317852581715706709776731784平均梯度3608711678679767713779461470474574271869774055636827087067507067246665718746738740713773

4 结 论

(1)考虑图像的照度分量分布的非均匀性，在Retinex算法基础上，提出通过调整图像的照度分量来实现图像的增强的思路。

(2)提出一种新的S型曲线函数来对照度分量进行均衡化调整，从而实现对低亮度进行增强而对高亮度进行抑制的目的，防止增强图像出现过增强现象。

(3)提出一种新的图像增强模型，该模型可以通过调整照度调整系数a和细节增强系数γ来对图像进行增强。

(4)实验结果表明，相比已有其他的增强算法，本文算法能够有效提升图像的整体亮度和对比度，同时避免过颜色失真和增强现象的产生，显示了本文算法的优越性。

[1] 毛善君.“高科技煤矿”信息化建设的战略思考及关键技术[J].煤炭学报,2014,39(8):1572-1583. MAO Shanjun.“Strategic thinking and key technology of informatization construction of high-tech coal mine[J].Journal of China Coal Society,2014,39(8):1572-1583.

[2] WANG Jinhua.Development and prospect on fully mechanized mining in Chinese coal mines[J].International Journal of Coal Science & Technology,2014,1(3):153-260.

[3] KHAN Mohammad Farhan,KHAN E,ABBASI Z A.Image contrast enhancement using normalized histogram equalization[J].Optik-International Journal for Light and Electron Optics,2015,126(24):4868-4875.

[4] COOPER,TED J,BAQAI F A.Analysis and extensions of the Frankle-Mc Cann Retinex algorithm[J].Journal of Electronic Imaging,2004,13:85-92.

[5] YIN Jingcao,LI H,DU J,et al.Low illumination image Retinex enhancement algorithm based on guided filtering[A].Cloud Computing and Intelligence Systems(CCIS),2014 IEEE 3rd International Conference on[C].2014.

[6] DENG Guang.A generalized unsharp masking algorithm[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2011,20(5):1249-1261.

[7] 黄向东,邓莉洁.一种基于Retinex的矿井非均匀照度图像增强算法[J].科学技术与工程,2014,14(5):141-144. HUANG Xiangdong,DENG Lijie.Algorithm of mine non-uniform illumination image enhancement based on Retinex[J].Science Technology and Engineering,2014,14(5):141-144.

[8] 程德强,郑珍,姜海龙.一种煤矿井下图像增强算法[J].工矿自动化,2015,41(12):31-34. CHENG Deqiang,ZHENG Zhen,JIANG Hailong.An image enhancement algorithm for coal mine underground[J].Industry and Mine Automation,2015,41(12):31-34.

[9] 徐辉,贺耀宜.一种煤矿井下监控视频图像预处理方法[J].工矿自动化,2016,42(1):32-34. XU Hui,HE Yaoyi.An image preprocessing method for underground monitoring video[J].Industry and Mine Automation,2016,42(1):32-34.

[10] 王焱,关南楠,刘海涛.改进的多尺度Retinex井下图像增强算法[J].辽宁工程技术大学学报:自然科学版,2016,35(4):440-443. WANG Yan,GUAN Nannan,LIU Haitao.An improved multi- scale Retinex algorithm for mine image enhancement[J].Journal of Liaoning Technical University(Natural Science),2016,35(4):440-443.

[11] RAHMAN Z U,JOBSON D J,WOODELL G A.Multi-scale retinex for color image enhancement[A].International Conference on IMAGE Processing IEEE[C].1996:1003-1006.

[12] JIANG B,WOODELL G A,JOBSON D J.Novel multi-scale retinex with color restoration on graphics processing unit[J].Journal of Real-Time Image Processing,2014,10(2):239-253.

[13] HE K,SUN J,TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,35(6):1397-1409.

[14] LI Y,GUO F,TAN R T,et al.A contrast enhancement framework with JPEG artifacts suppression[M].Computer Vision-ECCV,Springer International Publishing,2014:174-188.

[15] ZUIDERVELD K.Contrast limited adaptive histogram equalization[A].Academic Press Professional[C].1994:474-485.

[16] 王红,何小海,杨晓敏.基于模糊理论和CLAHE的雾天图像自适应清晰化算法[J].微电子学与计算机,2012,29(1):32-34. WANG Hong,HE Xiaohai,YANG Xiaomin.An adaptive foggy image enhancement algorithm based on fuzzy theory and CLAHE[J].Microelectronics & Computer,2012,29(1):32-34.

[17] SHIN Y,JEONG S,LEE S.Efficient naturalness restoration for non-uniform illumination images[J].IET Image Processing,2015,9(8):662-671.

[18] WANG S,ZHENG J,HU H M,et al.Naturalness preserved enhancement algorithm for non-uniform illumination images[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,2013,22(9):3538-3548.

[19] 王小明,黄昶,李全彬,等.改进的多尺度Retinex图像增强算法[J].计算机应用,2010,30(8):2091-2093. WANG Xiaoming,HUANG Chang,LI Quanbin,et al.Improved multi-scale retinex image enhancement algorithm[J].Journal of Computer Applications,2010,30(8):2091-2093.

[20] 刘志成,王殿伟,刘颖,等.基于二维伽马函数的光照不均匀图像自适应校正算法[J].北京理工大学学报,2016,36(2):191-196. LIU Zhicheng,WANG Dianwei,LIU Ying,et al.Adaptive adjustment algorithm for non-uniform illumination images based on 2d Gamma function[J].Transactions of Beijing Institute of Technology,2016,36(2):191-196.

Enhancementalgorithmbasedonilluminationadjustmentfornon-uniformilluminancevideoimagesincoalmine

ZHI Ning，MAO Shanjun，LI Mei

(SchoolofEarthandSpaceSciences,PekingUniversity,Beijing100871,China)

Due to the environment of coal mine space is affected by grime,the images obtained by video surveillance have low illumination,non-uniform illuminance problems,and the existing algorithms cause color distortion or excessive enhancement in dealing with non-uniform illumination mine image,which is not conducive to the interpretation and application of images.With the actual images data,this paper proposed a new non-uniform image enhancement algorithm based on illumination adjustment combining with Guided Filtering and “S Curve” function，which may overcome the problems of the existing algorithms.By analyzing the characteristics of the video images,a multi-scale guide filtering,which can preserve the edges and corners,is adopted to get the illumination component.Then based on Retinex theory,the image is decomposed into an illuminance component and a reflection component.Regarding the non-uniform illumination,a new S-shape curve function is proposed to adjust the illuminance component.Considering the image has a relative low contrast,the contrast limited adaptive histogram is further used to enhance the contrast.Finally,a new image enhancement method is proposed with the detail enhancement coefficient and the illumination enhancement coefficient achieve a better enhancement performance of non-uniform images.Compared with the other four algorithms,this paper shows that the proposed algorithm is superior to the above algorithms both in subjective evaluation and objective evaluation.Finally,this algorithm can effectively enhance the overall image brightness and contrast,while avoiding excessive enhancement phenomenon of the bright region generated near the light,showing the superiority of the algorithm.

non-uniform illumination;multiscale guided filter;illumination adjustment;detail enhancement coefficient;the illumination enhancement coefficient

10.13225/j.cnki.jccs.2017.0048

TD672

:A

:0253-9993(2017)08-2190-08

国家重点研发计划资助项目(2016YFC0801800)

智 宁(1990—)，男，山西运城人，博士研究生。E-mail:zhining@pku.edu.cn。

：毛善君(1964—)，男，四川成都人，教授，博士生导师。E-mail:sjmao@pku.edu.cn.

智宁，毛善君，李梅.基于照度调整的矿井非均匀照度视频图像增强算法[J].煤炭学报,2017,42(8):2190-2197.

ZHI Ning，MAO Shanjun，LI Mei.Enhancement algorithm based on illumination adjustment for non-uniform illuminance video images in coal mine[J].Journal of China Coal Society,2017,42(8):2190-2197.doi:10.13225/j.cnki.jccs.2017.0048