龚 云 ,颉昕宇
(西安科技大学 测绘科学与技术学院, 陕西 西安 710054)
煤炭是我国的主体能源,约占一次能源的70%,但在煤矿生产过程中由于操作不当容易发生瓦斯爆炸、塌方等事故[1]。当煤矿发生安全事故进行搜救工作时,同步定位与地图构建技术(Simultaneous Localization and Mapping, SLAM)具有更好的应用,该技术能够在未知环境中,在没有先验信息情况下,一边构建塌陷矿道模型,一边确定被埋人员位置,为搜救工作争取宝贵时间[2-3]。由于受到井下粉尘和光源的因素的影响,视觉SLAM 系统采集的图像信息呈现着低照度特点和对比度低的特点,而图像质量的好坏对后续特征点匹配与建图等任务有着直接影响[4],因此对于煤矿井下的图像增强技术的研究具有重要研究意义。
目前适用于煤矿井下的图像增强技术主要分为基于空间域和基于频率域2 大方面[5],基于空间域图像增强的方法包括了直方图均衡化方法[6]和Retinex 方法[7]等,基于频率域的方法包括同态滤波方法[8]。其中直方图均衡化方法只是根据图像的灰度概率分布函数进行简单的全局拉伸,没有考虑像素间的灰度联系情况,进行直方图均衡化后,会在一定程度上提高图像的对比度,但是图像的灰度级会进行合并进而减少,造成细节的丢失[9]。而Retinex 方法假定空间照度是缓慢变化的,在图像明暗变化剧烈的区域,容易出现光晕现象[10]。因此在处理井下光照差异很明显的图片,基于频率域的同态滤波方法有更好的效果[11]。同态滤波是一种结合了频率过滤和灰度变换的方法,它以图像的照度反射模型作为频域的处理基础,分别对低频信息进行增强,高频信息进行抑制,可以有效解决图像上照度不均匀和动态范围过大对图像产生影响的问题,在不损失亮区细节信息的同时,有效增强暗区的细节信息[12]。国内外很多学者对同态滤波提出了很多改进的方法,董静薇等[13]针对视频中的图像增强问题,从时频分析的角度出发,将同态滤波中的傅里叶变化用快速小波变换代替,然后用改进的滤波器对小波系数进行处理,简化了方法的同时也增强了图像的对比度,使图像更具有可视性。蔡秀梅等[14]基于模糊逻辑与模糊集理论将同态滤波中的傅里叶变换与反变换改进为模糊与去模糊隶属度函数变换,然后在图像的HSV 空间中,仅在模糊特征平面上对亮度分量进行改进的同态滤波处理,在一定程度上增强了图片的对比度。KANWARPREET 等[15]提出使用分数阶导数与离散傅里叶变换相结合来改进同态滤波,使得新方法比原始同态滤波方法多了两个自由度,从而提供了更多设计的灵活性。上述的学者都是把工作的重心放在了对于滤波器中的传递函数改进,虽然在一定程度上能够增强图像的对比度和提高亮度,但忽视了同态滤波是一个全局增强方法,对于煤矿井下明暗差距很大的像片,往往在增强图像某部分像素的时候,会使一部分像素过增强,对高光区和阴影增强方面效果不是很好[16]。
针对上述同态滤波方法对井下图像增强存在的问题,提出一种在HSV 空间下结合加权分布自适应伽马校正(AGCWD)的同态滤波方法,该方法先对V 分量的亮度像素通过其概率密度进行自适应的伽马校正,非线性的映射出新的概率分布使得井下图像的概率分布区域更加平滑,不会出现断崖式的起伏,进而加强同态滤波对高光区和阴影区的适用性。然后引入一种改进传递函数的单参数同态滤波算法[17]对AGCWD 处理后的结果进行同态滤波处理,由于经典的同态滤波需要用多个参数进行调节,也非常依赖调节的经验,而单参数同态滤波可以通过一个参数就能够获得相似的滤波增强效果,以缓解多参数导致的参数过难选择问题。最后对同态滤波后结果进行对比度受限的自适应直方图均衡化(CLAHE)处理[18],以提高图像的细节信息。
伽马校正(Gamma Correction)[19],通过参数 γ的大小来非线性变换调整像片的像素值,进而改善图像的整体亮度,可以由式(1)表示:
式中:lmax为 输入图像的最大灰度值;l为输入图像的强度;γ为伽马校正的伽马系数;T(l)为输出图像的强度。
当 γ>1 时图像的灰度值增大,整体亮度提高并增强对比度;当 γ<1 时图像的灰度值减小,整体亮度降低但也能在一定程度上提高图像的对比度;而当γ时图像进行线性变换,如图1 所示。
图1 伽马校正Fig.1 Gamma correction
由于伽马校正方法只是通过 γ一个参数进行调节,缺乏自适应性,而且对于光暗分布不均匀的图片容易造成过增强的现象。针对以上问题HUANG等[20]提出一种结合加权分布的自适应伽马校正(AGCWD),该方法是用一个补偿的累计分布函数(cumulative distribution function, cdf)去代替原始伽马校正的 γ系数,可以逐步对低强度进行增强,以增加其适应性,自适应伽马校正(adaptive gamma correction, AGC)公式如下:
其中,c df(l)代 表l亮度的累积分布,通过计算概率密度函数(Probability Density Function, pdf),由下式所示:
其中,∑ pdfw为整个图像的概率密度之和,由式(5)得出;pdfw(l)为l通过加权分布(Weighting Distribution, WD)对直方图进行调整之后的概率密度函数,计算式为:
其中,pdfmax和 pdfmin分别为概率密度统计直方图的最大值和最小值。
pdfw的求和公式为
由于矿井下的像片一般呈现整体偏暗的特点,在灰度值较低的区域,所对应的伽马系数大,进而产生更显著的效果,对灰度值高的区域也会通过像片自身特点降低增强效果。图2 是使用一张井下轨道像片进行AGCWD 方法处理后的结果。从直方图中可以看出AGCWD 方法可以对灰度级进行拉伸,减少暗像元数量,增加亮像元数量,也使得灰度级分布更加平滑,缓解了后续同态滤波因光暗分布不均而造成过增强的现象。
图2 AGCWD 前后的图像与灰度直方图Fig.2 Image and gray histogram before and after AGCWD
同态滤波是基于频率域的一种图像增强方法,它是基于图像的照射-反射模型提出的,认为图像的照度分量与反射分量以乘性的方式结合[21],如下式所示:
其中,f(x,y)为 得到的结果图像;i(x,y)为照射分量,表示光照部分,属于变化缓慢的低频分量;r(x,y)代表反射部分,属于物体的本身属性,是变化较快的高频部分。由于在频率域中滤波器对乘性噪声是不可分的,往往在傅里叶变化前要对图像进行对数变换:
对式(3)两边进行傅里叶变换:
用传递函数H(u,v)对傅里叶变换后的结果进行处理:
其中,传递函数H(u,v)指同态滤波中的滤波器,高斯型传递函数:
其中,D(u,v)为 频率(u,v)到 中心频率(u0,v0)的距离,由式(11)可以得出。D0为截止频率;rH为高频增益;rL为 低频增益;c为锐化系数,n为 滤波器的阶数。
由式(10)可知,常用同态滤波的传递函数有rH、rL、c、n四 个参数共同调节,在不同情况下针对rH、rL和n三个参数的选择很依赖调节经验,所以引入一种单参数同态滤波方法,该方法是王智奇等[17]根据S型函数的剖面与同态滤波的剖面有相似的结构这一原理,构建出新的传递函数为
式(12)构建出新的传递函数中只存在着一个参数k,其中D(u,v)的意义以及计算方法与常用的同态滤波器相同。单参数的传递函数三维结构如图3a所示。
图3 传递函数的三维图Fig.3 Three-dimensional diagram of the transfer function
高斯型同态滤波器是基于高斯高通型滤波器,其三维结构如图3b 所示,对比图3a 和图3b 单参数的同态滤波方法对低频分量有0.5 左右的增益,而高斯型同态滤波器在不增强低频分量的前提下,低频增量为0,因此在压缩图像的动态范围时易出现过压缩现象。单参数同态滤波器由中心频率到高频的过渡相较传统的同态滤波器更平缓,斜率更小,进而滤波更加均匀。
经同态滤波后的图像能有效改善光照不均匀所引起的光暗不一,但整体对比度还不够,为进一步提高对比度和增加图像的细节信息,引入一种CLAHE的方法。经典的直方图均衡化是一种全局方法,不能充分考虑图像的内容。对于煤矿井下的图像,可能只需对某个部分进行均衡化,而经典的直方图均衡化方法就会使图像错误增强,因此HUANG 等[22]提出CLAHE 方法,该方法是一种局部方法,通过抑制直方图均衡化过程中由于部分灰度级被过多合并、部分灰度级丢失所引起的噪声过度增强,提高图像对比度的同时使图像轮廓更清晰。具体做法是将图像分为若干个块区域,以块为单位计算直方图,在计算累积分布函数前,以预先定义的阈值对每个子块直方图裁剪来限制放大幅度,将超出阈值的部分重新均匀分布到其他部分,如图4所示。
图4 CLAHE 原理示意Fig.4 Schematic of CLAHE principle
同态滤波是一种全局型的图像增强方法,对于明暗差距较大的煤矿井下像片,往往在增强图像暗像素时,使得亮像素过增强,缺乏适应性。针对这一问题,首先使用AGCWD 方法对待增强图像的灰度根据其概率分布进行自适应伽马校正,使得图像灰度的概率分布更加平滑,进而可以减少同态滤波过程中对高亮区和阴影区过增加的影响。然后使用单参数同态滤波方法处理,增加图像的亮度与对比度。最后使用CLAHE 方法,提高同态滤波后图像的细节信息。方法流程如图5 所示,具体流程如下:
图5 本算法的流程Fig.5 The flow of the algorithm
1)由于图片在RGB 空间中变换容易造成失真现象,而提高图片的亮度与对比度在HSV 空间下效果会更好,所以本方法先将图片由RGB 空间转换到HSV 空间,提取出H、S 和V 三个分量;
2)保持色调H 和S 分量不变,利用AGCWD 方法对V 分量进行校正。先通过V 分量的灰度级和每个灰度级的灰度分布来计算出各灰度级的概率密度函数,构成概率密度函数直方图,找出概率密度统计直方图中的最大值和最小值,通过式(4)使用加权分布对直方图进行调整,然后使用式(3)计算出灰度值的累计分布,最后通过式(2)进行伽马校正。
3)将AGCWD 的结果进行单参数同态滤波处理。首先对图像取对数,使图像的照度分量与反射分量变成相加可分关系,再进行傅里叶变换得到图像在空间域的分布情况;使用式(12)传递函数对空间域的图像进行滤波处理,然后进行傅里叶逆变换和指数处理得到同态滤波后的图像。
4)将单参数同态滤波的结果进行CLAHE 处理;CLAHE 方法在MATLAB 中有集成好的函数,函数名为adapthisteq。把同态滤波后的结果导入到MATLAB中,直接调用adapthisteq 函数即可得到结果。
5)最后用原始图像的H、S 分量和处理后的V分量波段合成后,进行HSV 逆变换得到RGB 空间下的图像。
为了对研究提出的方法进行有效性验证,在西安科技大学采矿实验室中拍摄3 张像片分别代表轨道、巷道、采矿面作为待处理图像。试验硬件平台采用Inter(R) Core(TM) i5-6300HQ CPU,主频2.3 GHz,内存16G;软件平台基于MATLAB R2014a,Windows 10 操作系统。分别采用经典的同态滤波,对比度受限的自适应直方图均衡化,和本研究改进的同态滤波3 种方法对3 种图像进行增强,然后从主观上的增强结果图及其灰度直方图,和客观上的标准差、均值、峰值信号比(PSNR)、信息熵4 个评价标准两方面进行分析。
试验选取的轨道图像具有对比度低的特点,并且在照明灯下方的轨道由于强光照的影响,其轨枕和道碴等细节信息不明显。根据试验结果可以看出3 种方法都对图像有着明显的增强作用,可是CLAHE方法的灰度级集中在0~100(图7b),虽然在提高图像对比度的同时能保留丰富的细节信息,但亮度的提升效果不如其他2 种方法。经典的同态滤波方法对于高光照区域(图6b)有明显的过增强效果,增强后的结果丢失了轨枕和道碴等细节信息。而本研究改进的同态滤波方法进行增强后的图像的灰度级在每个区间都分布均匀(图7d),并且对同态滤波中的过增强方面有一定的改善,还保留了原图像的细节信息。
图6 轨道图像的试验结果Fig.6 Experimental results of orbital images
图7 轨道图像的试验结果的灰度直方图Fig.7 Gray histogram of the experimental results of the track image
使用常用的均值、标准差、PSNR 以及信息熵4个评价指标对3 种方法进行客观评价,结果见表1。其中标准差是用来评价图像的对比度,如果标准差越大,代表图像的对比度越大;图像的均值代表明亮程度,数值越大图像亮度越高;峰值信噪是一种用来评价图像保真性的客观标准,一幅图像信噪比越大代表图像失真越小;信息熵是一种反映图像上所具有信息量的评价指标,若信息熵越大则表示图像所具有的信息越丰富[23]。由表1 可以得出,本研究改进的同态滤波方法相比于其他2 种方法的标准差、均值、PSNR 和信息熵4 个评价标准均有所提高,其中相比于经典的同态滤波方法在轨道像片中均值、标准差、峰值信噪比和信息熵分别提高了13.04%、18.67%、25.97%、2.31%;相比于CLAHE 方法均值、标准差、峰值信噪比和信息熵分别提高了32.70%、9.23%、16.23%、0.98%。
表1 轨道图像性能指标Table 1 Track image performance index
试验选取巷道图像的灰度均值是3 张图片中最低的,能充分说明3 种增强方法对亮度的提高效果(图8)。由图9d 可知,图像经过本研究改进方法处理后的灰度主要分布在50~200,使得图像亮度增加显示更加清楚,并且每个灰度级分布更加均匀,提高了图像的对比度,对于图8c 中同态滤波处理后的结果所造成的过增强区域有所改善。
图8 巷道图像的试验结果Fig.8 Experimental results of roadway images
图9 巷道图像结果的灰度直方图Fig.9 Gray histogram of experimental results of roadway image
由表2 可知对于巷道图像,本研究改进的同态滤波方法相比于经典的同态滤波方法在均值、标准差、峰值信噪比和信息熵分别提高了52.07%、40.73%、36.23%、8.96%。相比于CLAHE 方法均值、标准差、峰值信噪比和信息熵分别提高了65.29%、21.58%、17.03%、5.18%。
表2 巷道图像性能指标Table 2 Roadway image performance index
煤矿的反射率较低[24],在井下图像中由于光照分布不均往往呈现出黑色区域,如图10a 所示。因为CLAHE 方法根本原理是对灰度级的拉伸,同态滤波只是单纯增强暗区和保留亮区信息,所以这2 种方法在处理大片黑色区域时效果不是很明显。而本研究方法首先利用每个灰度级的概率密度,对每个灰度级进行伽马校正,增强每个灰度级的同时也使灰度相差很小的灰度级分离更加明显,再进行同态滤波增强图像暗区,结果如图10d 所示,对整个采矿面增强比其他2 种方法明显。
图10 采矿工作面图像的试验结果Fig.10 Experimental results of mining face image
由表3 和图11 可知对于巷道图像,本研究改进的同态滤波方法相比于经典的同态滤波方法在均值、标准差、峰值信噪比和信息熵分别提高了18.75%、17.66%、11.20%、2.90%。相比于CLAHE 方法均值、标准差、峰值信噪比和信息熵分别提高了36.35%、2.60%、6.88%、2.89%。
图11 采矿工作面图像结果的灰度直方图Fig.11 Gray histogram of experimental results of mining face image
表3 采矿工作面图像性能指标Table 3 Mining face image performance index
1)同态滤波方法是一种全局增强方法,对于煤矿井下明暗差距很大的影像,往往在增强图像某部分像素的时候,会使一部分像素过增强,所以使用AGCWD 方法将井下影像的像素通过其概率密度非线性的映射出新的概率分布使得灰度级分布更加平滑,不会出现断崖式的起伏,进而加强同态滤波方法对高光区和阴影区的适用性。根据S 型函数的剖面与同态滤波的剖面有相似的结构这一原理,构建出新的传递函数将同态滤波中的4 个调节参数转化为一个调节参数,减少了方法参数选择困难的同时对低频分量有一定的增益,能够改善经典的同态滤波器在压缩图像的动态范围时出现的过压缩现象。
2)通过文中影像增强方法和经典的影像增强方法建立对照试验,结果表明,改进的同态滤波方法相较于CLAHE 方法,均值、标准差、峰值信噪比(PSNR)和信息熵分别提高了65.29%、21.58%、17.03%、5.18%,相较于经典同态滤波方法分别提高了52.07%、40.73%、36.23%、8.96%。试验数据表明改进的同态滤波方法能够在增强图像的亮度和对比度,保留了图像的细节信息的同时还在一定程度下抑制了经典同态滤波对明暗差距大的像片的过增强现象。
3)该研究只是对井下影像数据进行增强,后续任务可以对井下监控视频进行增强,但井下视频由于其帧数和时长,可能会导致该方法在时间效率上有一定的缺陷,即如何满足增强效果的同时提高时间效率将是今后研究的关键性问题。