基于分层差分表达理论的图像视觉增强

耿爱辉 万春明 李 毅 张云峰 曹立华 冯 强



基于分层差分表达理论的图像视觉增强

耿爱辉*①②万春明①李 毅②张云峰②曹立华②冯 强②

① (长春理工大学长春 130022)②(中国科学院长春光学精密机械与物理研究所 长春 130033)

视觉注意机制表明人眼趋向于关注感兴趣区域。为了实现图像视觉增强，该文提出基于2维直方图分层差分表达理论的图像增强方法。该算法首先检测图像的显著性区域，并对该区域进行分割，得到更适合人眼观测的显著图。然后统计原图中显著图对应区域的2维差分直方图，依据分层差分表达理论和考虑各层之间的内在联系，通过解线性优化问题得到显著性区域差分向量。定义原始差分向量代表原图特征，将两个向量加权相加后得到全局变换函数，重建得到视觉增强图像。实验结果表明：该方法有效地增强图像中人眼感兴趣区域对比度，提升细节信息。客观评价指标表明：与其他5种方法比较，该方法处理结果在3组实验中在保持全局亮度、提升峰值信噪比及人眼视觉系统敏感度信噪比指标优势明显。该方法增强后图像显著性区域的EME值适中，有利于视觉观测。客观指标与主观观察结果一致，表明该方法能有效改善图像视觉效果。

图像处理；人眼视觉增强；显著性检测；分层差分表达；2维直方图

1 引言

受天气、环境等客观因素和人为操作不当等主观原因的影响，实际采集到的图像通常是缺乏对比度、模糊、文理细节不清晰，不利于人眼视觉观测、判读和识别。因此有必要对图像进行增强处理，提高图像清晰度和信噪比，增强人眼感兴趣区域对比度[1,2]。

图像增强是指通过一定手段将不清晰的图像变得清晰或便于突出某些感兴趣的特征，以达到改善图像质量、提高图像判读和识别效果的目的，进而满足某些实际应用需求。主要的图像增强算法可分两大类[1,2]：空域增强方法和频域增强方法。基于空域的增强方法是直接对图像像素进行操作。代表算法有灰度变换、空间滤波、直方图均衡及其改进算法、多尺度Retinex算法等。基于频域的增强方法是在图像的某个变换域内进行操作，再通过逆变换获得增强图像。典型算法有：傅里叶变换、离散余弦变换和小波变换增强法等。但是这些算法主要是以增强图像全局对比度为目的，没有考虑人眼视觉的特点，视觉效果很难令人满意。例如直方图均衡算法依据像素灰度值的概率重新分配灰度级能有效提高图像对比度，但HE往往将代表图像细节占少数的像素点灰度级合并造成细节信息丢失，并且易出现过增强；小波增强算法将图像高低频信息单独处理通过逆变换得到增强图像，当过度追求对比度，对高频信息进行处理时会导致平滑区噪声放大。近年来提出的基于偏微分的增强方法，基于Contourlet的增强和基于Shearlet的增强同样存在过度追求对比度时会导致图像视觉效果变差问题。最近，Lee 等人[11]提出分层差分表达(Layered Difference Representation, LDR),该方法统计相邻像素间差值的2维直方图，通过解线性优化方程放大原始图像中差分值个数多的灰度差，计算出代表相邻像素之间不同差异值的差分向量并融合为一个差分向量，得到全局变换函数重建图像，最终实现图像对比度增强。LDR计算整幅图像的差分值得到全局函数，在灰度重新映射时会导致某些细节的丢失，但LDR理论为通过全局变换函数实现图像中人眼感兴趣区域视觉增强提供了一种新方案。

考虑到以上问题和LDR特点，为实现视觉增强，本文提出一种基于2维直方图分层差分表达的人眼感兴趣区域视觉增强方法，该方法依据人眼视觉注意机制获得显著图，再统计显著图在原图中的对应区域的差分2维直方图，通过解线性优化问题得到对应显著图的差分向量，最后与代表原图非显著性区域的原始差分向量融合得到最终差分向量，将获取的全局变换函数对原图进行重新映射增强图像。本文其余部分结构组织如下：第2节对LDR理论进行简单描述；第3节详细描述本文算法；第4节给出实验比较与分析；第5节对全文进行总结。

2 分层差分表达(LDR)

分层差分表达[11]对原始图像相邻像素之间的不同灰度差值进行统计得到2维直方图，并通过一个类似树型的分层结构图来表达这种像素灰度差值关系。以8位图像为例，分层差分表达理论的结构图如图1所示。图中是输出图像变换函数中输入图像中灰度值为对应的映射值，是差分变量。LDR认为差分变量与输出图像的灰度值存在这样的关系：

图2是原始图像修订后的2维差分直方图。

(4)

该限定性方程中，对不同的差值依据统计差分直方图分别算出一个差分向量，限制项限制差分向量的每一个单元不小于0，且所有单元的总和不超过255。式中是由0和1组成的矩阵，是第层差分向量，是第层的输入2维直方图向量。LDR将各层差分向量集合为一个差分向量，最后得到全局变换函数实现输入图像像素灰度重新映射。

图2 2维直方图统计数据

3 本文算法

为实现视觉增强，本文提出基于2维直方图分层差分表达视觉增强算法。该算法可分为4个部分：(1)显著图获取；(2)显著性区域差分信息统计；(3)显著性区域差分向量获取；(4)变换函数及重建图像。

3.1 显著性区域检测

图像显著性是一种基于视觉注意机制结合图像亮度，纹理和边缘梯度等视差信息的底层特征描述，近年来发展多种显著性区域检测滤波方法，本文采用分层差分表达需统计灰度差分值，而人眼对灰度差距大的图像区域敏感，因此选取一种基于对比度的显著性滤波[12]，该滤波方法由以下几部分组成：单元提取、单元唯一性、单元分配与显著性指定。每个单元中显著性值计算为

(6)

(7)

3.2 显著性区域分层差分表达

通过对原图中显著性区域2维差分信息直方图统计，实现显著性区域分层差分表达。文献[11]中，忽略了层与层之间内在联系，采用加权融合255个差分向量得到最终差分向量。依据这样的差分向量得到的全局变换函数进行图像灰度级的重新映射时，会出现细节信息丢失。本文提出改进方法以减轻此种情况发生。考虑不同的层差分变量与输出图像的变换函数存在内在联系，因此可以选取一个固定的层作为基层，将不同层差分信息折算到固定层。当选定固定层之后，由于灰度差分值分奇偶数，折算过程中必然导致要舍弃部分项，固定层越大，舍弃的数据就越多，选取的固定层越小，最后留下有效的2维直方图统计信息越接近原始显著性区域直方图。所以本文选取第层为固定层，各层差分信息可通过计算与固定层关系联系起来，如第5层和第6层的差分变量可写为

(9)

相应的2维直方图统计信息也可进行如式(10)转换：

式中，由于第1层数据无法进行折算，舍弃了该层的统计数据。

3.3 差分向量求取

获得显著性区域分层差分表达之后，可求取差分向量。由于本文将统计差分信息折算到第层的固定层，所以仅需要解一次限定性优化方程。通过解固定层的线性优化方程即可得到对应的差分向量，依据式(3)，式(4)，选取，则，线性优化方程可表示为

3.4 图像重映射

最终差分向量由两个差分向量加权得到，即

(13)

4 实验与分析

4.1 实验条件

为验证本文算法的有效性，在Matlab平台(CPU为Intel i7 4核，主频为3.4 GHz)上进行3组实验，分别从主观视觉效果和客观质量评价两方面对其进行分析。本文还与多种算法进行了比较，包括直方图均衡算法(HE)、对比度限制的自适应直方图均衡算法(CLAHE)[4]，小波变换增强方法(Wavelet)[7]，轮廓波变换增强方法(Contourlet)[8]和分层差分表达对比度增强算法(LDR)[11]。

本文采用平均绝对亮度均值误差(AAMBE)[16]、分块对比度(EME)[17]、峰值信噪比(PSNR)[18]和人眼视觉系统敏感度信噪比(HSNR)[19]作为增强图像的客观评价标准。AAMBE用来计算增强后图像保持均值亮度的能力，本文用AAMBE评价增强图像的非显著性区域，检测增强图像非显著性区域保持原有特征的能力，AAMBE值越小说明保持原图特征能力越好；EME是评价图像局部对比度，本文用EME对增强后图像的显著性区域进行评测，验证显著性区域增强能力，EME值大说明显著性区域对比度强；PSNR评价图像信噪比，本文采用PSNR评价增强后图像的质量，PSNR值越高图像质量越好。HSNR是一种符合人眼视觉特性的图像信噪比评价方法，HSNR值高表明人眼视觉感受好。HSNR为

其中，是灰度等级，HMSE为含噪水平。

和分别是人眼对比度敏感度矩阵和脉冲噪声分布矩阵，和为图像宽和高。

4.2 实验结果与分析

测试图像均来源于USC SIPI图像库[20]，分辨率均为512×512。各算法处理实验结果如图4，图5和图6所示。图4，图5，图6中子图(b)为各原始图像的显著性图，子图(c)~(h)分别为6种算法增强处理后结果。HE采用像素灰度累积概率实现黑白拉伸，经HE算法处理后图像对比度增强明显，但HE会导致平滑区噪声过增强和灰度级合并使部分细节丢失，如图4(c)左侧空地区域出现过增强，图5(c)右侧履带上纹理丢失，图6(c)过增强严重导致视觉效果差。HE依据像素分布计算输出图像的变换函数，输出图像出现均值漂移，整体视觉效果较差。CLAHE是HE的改进算法，采用分块自适应实现直方图均衡，有效地限制了输出图像全局对比度，解决了HE过增强问题，但是CLAHE本质原理还是HE，局部同样会出现过增强(如图4(d)左侧空地区域)和灰度级合并(图5(d)非显著性区域的草地，图6(d)空地上飞机碾压的痕迹)。小波变换可以取得较好的增强效果，但它的点奇异性限制了其对边缘的精确表达能力，全局图像视觉效果趋向于模糊，如图4(e)，图5(e)和图6(e)所示。图4(f)，图5(f)和图6(f)为Contourlet变换增强结果，Contourlet变换能在任意尺度上实现任意方向的分解，具有各向异性的特点，从而能有效捕捉图像的轮廓和方向信息，很好地克服了小波变换的缺陷，但是增强后图像易出现振铃效应和伪吉布斯效应等影响视觉效果的现象[8]，如图6(f)所示。LDR统计相邻像素之间灰度差，依据灰度差出的频率放大灰度差，有效地增强图像中出现细节与纹理，但是LDR简单地将代表不同灰度差的255个差分向量加权融合，忽略层与层之间内在联系，最终变换函数受各层差分向量影响，对期望的细节纹理增强会有偏差，背景区和目标区小细节被合并，如图4(g)左上树林靠近马路区域、图5(g)右上草地区域及图6(g)空地上飞机碾压的痕迹。本文算法对显著性区域和非显著性区间采用不同的处理方法，对检测到的显著性区域采用LDR分层差分表达理论，放大显著性区域灰度差，提升对比度；对于非显著性区域采用保持原有特征的方法，定义相应的差分向量。最后将两个差分向量融合得到变换函数，重新映射灰度输出人眼视觉效果良好的增强图像。本文算法增强结果如图4(h)，图5(h)和图6(h)所示。对应的客观评价如表1所示。

图3 二维直方图统计数据

图4 测试图像1增强效果对比

图5 测试图像2增强效果对比

图6 测试图像3增强效果对比

测试数据表明，在保持非显著性区域均值亮度(AAMBE)评价中本文算法得分在同组实验较小，即本文算法在保持非显著性区域效果良好，亮度均值漂移小。EME用来评价显著性区域对比度，本文算法EME值适中适合人眼视觉观测，既没有HE和LDR的过增强，也没有CLAHE的增强不足。表1中，处理后图像PSNR和HSNR得分中，本文算法和Contourlet最佳。由于本文算法采用融合增强显著性区域的差分向量和保持非显著性区域特征的差分向量得到变换函数，显著性区域增强但受原始差分向量影响，而不会出现过增强，同样在非显著性区域受显著性区域对比度增强差分向量影响，该区域细节纹理也得到增强，这样全局图像峰值信噪比和人眼视觉系统敏感度信噪比与其他增强算法相比会有很大提高。

表1增强算法的定量评价比较

测试图像评价指标方法 直方图均衡限制性直方图均衡小波变换剪切波变换分层差分表达本文方法 测试图像1AAMBE53.8497 32.2152 11.7110 4.0697 18.3345 24.2604 EME 0.8979 0.6917 0.5927 0.6521 0.8185 0.7424 PSNR26.2194 50.2135 59.8746 75.8320 42.4996 52.6396 HSME77.4270 86.1520 86.5374 86.9301 81.7118 86.5739 测试图像2AAMBE41.8370 39.7166 21.1038 2.1005 77.0963 16.8256 EME 0.8407 0.5290 0.5114 0.5236 0.6485 0.5452 PSNR31.7259 37.0211 48.6977 81.8212 24.6826 53.8459 测试图像3HSME75.9213 93.9216 90.8018 96.6050 89.2157 94.3913 AAMBE65.6991 28.0125 7.8876 2.1908 49.4179 6.6712 EME 0.8974 0.4378 0.3309 0.4185 0.5274 0.4282 PSNR22.8530 43.5797 63.8430 73.7710 31.4767 67.6197 HSME80.3621105.9549106.6950107.3752102.2310107.2521

5 结论

人眼视觉对图像的某一区域感兴趣，而不是整幅图像。现有的对比度增强算法采用全局增强通常没有考虑人眼感兴趣区域，这样处理得到的图像人眼视觉感知较差。为解决上述问题，本文提出基于2维直方图分层差分表达的视觉增强算法，该算法利用视觉注意机制，获取显著性图，对原图对应显著性区域进行分层差分表达，并考虑层与层之间内在联系对数据进行整合，通过解限定性优化方程得到增强显著性区域的差分向量，定义代表原始图像非显著性区域的差分向量，最终的变换函数由这两个差分向量融合得到。实验结果表明，经本文算法处理的图像更适合人眼观测。客观指标评价说明与其他算法比较，本文算法在保持非显著性区域全局亮度、增强显著性区域对比度、提升图像峰值信噪比和人眼视觉系统敏感度信噪比有良好表现。

[1] JI Tingting and WANG Guoyu. An approach to underwater image enhancement based on image structural decomposition[J]., 2015, 14(2): 255-260. doi: 10.1007/s11802-015-2426-2.

[2] SUN Wei, GUO Baolong, LI Dajian,. Fast single image dehazing method for visible-light systems[J]., 2013, 52(9): 093103. doi: 10.1117/1.OE.52.9. 093103.

[3] 刘海波, 杨杰, 吴正平, 等. 改进的基于雾气理论的视频去雾[J]. 光学精密工程, 2016, 24(7): 1789-1798. doi: 10.3788/OPE. 20162407.1789.

LIU Haibo, YANG Jie, WU Zhengping,. Improved video defogging based on fog theory[J]., 2016, 24(7): 1789-1798. doi: 10.3788/OPE. 20162407.1789.

[4] MOHAN Shelda and RAVISHANKAR M. Modified contrast limited adaptive histogram equalization based on local contrast enhancement for mammogram images[J].&, 2013, 296: 397-403. doi: 10.1007/978-3-642-35864-7_60.

[5] GAUTAM C and TIWARI N. Efficient color image contrast enhancement using range limited bi-histogram equalization with adaptive gamma correction[C]. 2015 International Conference on Industrial Instrumentation and Control (ICIC), Pune, India, 2015: 175-180. doi: 10.1109/IIC.2015. 7150733.

[6] 卢彦飞, 张涛, 章程. 应用log-Gabor韦伯特征的图像质量评价[J]. 光学精密工程, 2015, 23(11): 3259-3269. doi: 10.3788/ OPE.20152311.3259.

LU Yanfei, ZHANG Tao, and ZHANG ChengImage quality assessment using log-Gabor Weber feature[J]., 2015, 23(11): 3259-3269. doi: 10.3788/ OPE.20152311.3259.

[7] YANG Guocheng, LI Meiling, CHEN Leiting,. The nonsubsampled contourlet transform based statistical medical image fusion using generalized Gaussian density[J].&,2015, 13(11): 1-13. doi: 10.1155/2015/262819.

[8] DEMIREL H and ANBARIJAFARI FG. Discrete wavelet transform-based satellite image resolution enhancement[J]., 2011, 49(6): 706-717. doi: 10.1109/TGRS.2010.2100401.

[9] 吴一全,殷骏,戴一冕. 基于人工蜂群优化的NSCT域图像模糊集增强方法[J]. 华南理工大学学报:自然科学版, 2015, 43(1): 59-65. doi: 10.3969/j.issn.1000-565X.2015.01.010.

WU Yiquan, YIN Jun, and DAI Yimian. Image enhancement in NSCT domain based on fuzzy sets and artificial bee colony optimization[J].(), 2015, 43(1): 59-65. doi: 10.3969/j.issn.1000-565X.2015.01.010.

[10] 张惊雷, 胡晓婷, 温显斌, 等. 基于Shearlet变换与区域分割的遥感图像融合[J]. 光电子激光, 2015, 26(12): 2393-2399. doi: 10.16136/j.joel.2015.12.0526.

ZHANG Jinglei, HU Xiaoting, WEN Xianbing,. Remote sensing image fusion algorithm based on Shearlet transform and region segmentation[J]., 2015, 26(12): 2393-2399. doi: 10.16136/j.joel.2015.12.0526.

[11] LEE C L, LEE C, and KIM C S. Contrast enhancement based on layered difference representation of 2D histograms[J]., 2013, 20(12): 5372-5384. doi: 10.1109/TIP.2013.2284059.

[12] PERAZZI F, KRAHENBUHL P, and PRITCH Y. Salency filters: Contrast based filtering for salient region detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2012: 733-740. doi: 10.1109/CVPR.2012. 6247743.

[13] KE W M, CHEN C R, and CHIU C T. BiTA/SWCE: Image enhancement with bilateral tone adjustment and saliency weighted contrast enhancement[J].2011, 21(3):

360-364. doi: 0.1109/TCSVT.2010.2087475.

[14] LI Yi, ZHANG Yunfeng, CAO Lihua,Visual enhancement based on salient region detection and layered difference representation[J]., 2016, 23(1): 1-7. doi: 10.1007/s10043-015-0163-9.

[15] ZHANG X Y, CHAN K L, and CONSTABLE M.Atmospheric perspective effect enhancement of landscape photographs through depth-aware contrast manipulation[J]., 2014, 16(3): 653-667. doi: 10.1109/TMM.2014.2299511.

[16] OOI C H, KONG NSP, and IBRAHIM H. Bi-histogram equalization with a plateau limit for digital image enhancement[J]., 2009, 55(4): 2072-2080. doi: 10.1109/TCE.2009. 5373771.

[17] AGAIAN S S, SILVER B, and PANETTA K A. Transform coefficient histogram-based image enhancement algorithms using contrast entropy[J]., 2007, 16(3): 741-758. doi: 10.1109/TIP.2006.

888338.

[18] SIM K S, TSO C P, and TAN Y Y. Recursive sub-image histogram equalization applied to gray scale images[J]., 2007, 1209(28): 1209-1221. doi: 10.1016/j.patrec.2007.02.003.

[19] 安雪晶, 田媛. 无参考图像质量评价方法的设计原则[J]. 中国光学与应用光学, 2009, 2(2): 140-144. doi: 1674-2915(2009) 02-0140-05

AN Xuejing and TIAN Yuan. Design principle of no-reference image quality evaluation[J]., 2009, 2(2): 140-144. doi: 1674-2915(2009)02- 0140-05.

[20] USC SIPI图像库. ftp://sipi.usc.edu/pub/database/misc.zip 2015.12.

Image Visual Enhancement Based on Layered Difference Representation

GENG Aihui①②WAN Chunming①LI Yi②ZHANG Yunfeng②CAO Lihua②FENG Qiang②

① (,130022,)②(,,,130033,)

Human vision pays more attention to the interesting region than other areas. A method based on salient region detection for layered difference representation of 2D histogram is proposed to achieve visual enhancement. The algorithm detects the salient region by salient filtering and cuts salient region with a threshold for visual perception firstly. Then, 2D histogram is calculated for related region in original image of salient region, and statistical information in different layers is converted to layer 2 according to the inner relationship of each layer. Following a difference vector is gained though solving a constrained optimization problem of layered difference representation at a specified layer. To preserve the character of non-salient region, an origin difference vector is defined. Finally, output image is reconstructed by a transformation function, which is the result of two difference vectors for salient region and non-salient region. Experimental results show that the proposed method enhances contrast and details in salient region efficiently while protecting non-salient region in origin image. The objective evaluation parameters in three group experiments illustrate that the proposed algorithm can get better scores in protecting global mean lighting in non-salient region, increasing PSNR and HSNR of the whole image compared to other five algorithms. The EME value of images enhanced by the proposed method is moderate. The objective evaluation parameters are consistent with the subject observation, and it demonstrates the proposed method can achieve visual enhancement effectively.

Image processing; Vision enhancement; Salient detection; Layered difference representation; 2D histogram

TP391

A

1009-5896(2017)04-0922-08

10.11999/JEIT161070

2016-10-12；

2017-02-15；

2017-03-07

耿爱辉 gengaihui2009@qq.com

国家自然科学基金(61205143)，吉林省科技厅重点项目(20110329)

The National Natural Science Foundation of China (61205143), The Science and Technology Department of Jilin Province Research Funding (20110329)

耿爱辉： 男，1974年生，副研究员，研究方向为光电总体技术.

万春明： 男，1959年生，教授，研究方向为光电工程.

李 毅： 男，1988年生，助理研究员，研究方向为光电信息.

张云峰： 男，1971年生，研究员，研究方向为光电信息技术.

曹立华： 男，1973年生，研究员，研究方向为光电总体技术.

冯 强： 男，1978年生，副研究员，研究方向为光电信息技术.