基于细节特征的高动态范围图像获取算法

刘 颖, 焦淑云, 刘卫华

(西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

基于细节特征的高动态范围图像获取算法

刘 颖, 焦淑云, 刘卫华

(西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

为了解决真实场景的动态范围与数字图像的动态范围不匹配的问题，提出一种基于细节特征合成的高动态范围图像获取算法。该方法首先提取多幅不同曝光的低动态范围图像的细节特征，细节特征值越大表明所含细节信息越多,然后将归一化的特征值作为权重，合成多幅低动态范围图像，得到一幅高质量的合成图。实验表明，该算法能得到一幅含有较丰富细节特征、动态范围较广的图像，合成图像不需要色调映射就可以较好地在低动态范围显示器上直接显示。

高动态范围图像；图像合成；细节特征；多曝光图像

目前，视频监控设备所能记录的动态范围较小，对普通的8 bit成像设备来说，获取图像的动态范围小于4个数量级[1]，而自然界中光强的动态范围很广泛，如夜晚的星光可达1×10-3cd/m2，正午的阳光可达1×105cd/m2，室内的光线可达1×102cd/m2，这样自然界所覆盖的动态范围最大可达9个数量级[2]，然而人的眼睛通过瞳孔的收缩放大所能感知的动态范围可达10个数量级[3]。因此成像设备记录的图像就会造成细节信息的丢失，导致人眼无法看到真实场景的图像。而在实际应用中，比如刑侦图像处理，卫星监控系统等，对图像细节信息要求比较严格。

许多学者对关于获取高动态范围图像的方法作了研究，比较经典的算法有文[4]提出的一种确定高动态范围成像中相机响应曲线的方法，但因采样有限个像素点，导致恢复出的相机响应函数不准确，容易造成真实图像的细节信息丢失。文[5]研究采用分光技术获取不同曝光图像的电路系统。该类方法的缺点是对于光路设计有较高的要求，需要设计分光系统，而且加入中性滤镜使得进入相机的光线利用率不高。文[6]通过图像分块合成高动态图像。此方法是将多幅同一场景的不同曝光的图像分割成相同大小的矩形块，然后融合为质量好的一幅图像。由于矩形块可能包含物体的边缘，合成效果不好出现光晕现象，效果不好。文献[7]提出了一种基于相机阵列(High Dynamic Range Imge, HDRI)合成算法。为了适应动态光照，该方法对相机阵列的不同相机设置的不同曝光，同时捕获场景光照，并把这些不同曝光的图像基于光场合成孔径理论校准到同一个平面，再经中值位图校准合成HDRI。这个方法较为复杂，计算量很大。文献[8]提出了一种多曝光融合的方法。通过采用对比度、饱和度等质量评估方法对输入图像的质量进行分析，然后确定融合权系数，将图像融合为一幅最佳曝光图像,但由此方法得到的图像色彩效果并不佳。

为了得到一幅“场景相关”的高动态范围图像，本文提出基于细节特征的高动态范围图像获取算法。该算法避开了分块融合中的边缘效应和在传统的方法中相机响应曲线求解。融合准则的确定也是一种新方法。文章的结构安排如下：第一部分介绍合成高动态范围图像的关键理论；第二部分对算法实验结果进行分析；第三部分总结算法的创新之处及应用。

1 算法关键理论

合成高动态范围图像主要有辐照图重建法[4]和直接融合法[9]两种方法。本文采用直接融合法。基于细节特征合成的高动态图像将不同图像中的清晰部分提取到一幅图像中，舍弃原来低动态图像中的过曝光或者欠曝光部分，获得较清晰的图像，同时展现较宽动态范围的真实场景。算法中关键问题有两个，一是如何表征图像的细节特征，二是如何确定合成准则。

1.1 区域特征提取

图像的细节特征丰富，说明图像的灰度变化明显，含有的信息量较丰富，因此，选用方差作为描述细节特征的量。

基于像素的自适应的特征称为区域特征，即某像素V(i,j)的区域特征描述为：以V(i,j)为中心的某个区域的特征记为该点的特征，选择这个区域为一个(2k+1)×(2k+1)的正方形区域，则该点V(i,j)的区域方差、区域均值分别定义为

(1)

(2)

某像素的区域方差表示为，在以该像素为中心的某个区域中，每个像素点与平均值之间差值的平方和，当这个平方和越大时，说明该点周围图像的像素差异越大，细节特征就越多。

考虑采用原始图像的方差特征C(i,j)作为低动态范围图像各像素点的特征，以此来衡量图像的细节特征。

1.2 合成准则

基于像素的细节特征确定以后，根据多幅低动态范围图像中同一像素处不同的细节特征将质量好的像素提取到最终的融合图像中。

图像合成中一类较简便的方法是加权平均合成法，即通过直接对多幅图像取平均融合，得到高动态范围图像的像素值

(3)

Vij是第j幅图像像素点i处的像素值；p为低动态图像数量。w(Vij)为图像在该点的权重，可表示为

(4)

此方法在文献[14]中应用过，因为128附近的点不一定是最佳效果点，选择式(4)作为加权系数，造成128附近的点较多的出现在最终图像中，将多幅图像中质量较差的部分融合到最终的图像中，因此，平均融合法虽然算法简单，但是融合效果不够好。基于细节特征的加权融合算法，合成准则如下。

记p幅多曝光图像的某像素的区域特征为[C1(i,j),C2(i,j),…,Cp(i,j)]，那么权系数定义为

(5)

其中C(i,j)为第j幅图像第i个像素点处的区域方差特征，wk为第k幅图像的加权权值。最后通过

(6)

得到可视化的高动态范围图像。

1.3 去噪平滑分析

实验通过改变国际标准化组织 (International Standards Organization，ISO)规定的感光度来获取多幅曝光度不同的图像。感光度增大，获取的图像难免存在较大噪声。噪声将导致实际像素值偏大或偏小，同时造成方差偏大，合成图像像素值比周边值偏亮或暗，因此，实验图像首先需通过3×3的中值滤波去除由于感光度改变带来的噪声。

1.4 算法流程

首先，采集多幅低动态范围图像，对所得图像进行预处理，本文使用6幅图像。采用方差特征，对6幅低动态图像提取基于像素的区域特征，根据式(5)确定加权系数，最后合成6幅低动态范围图像，获得高动态范围图像，再对图像进行平滑处理。

2 实验结果及分析

实验中用到的原始图像需满足3点要求：(1)同一场景不同曝光度；(2)静态图像；(3)图像完全配准。

通过改变ISO感光度，采集6幅5 174×3 456的彩色图像，来得到不同曝光的图像，ISO感光度分别为100、200、400、800、1 600、3 200。这些图像都是经过三脚架防抖设备拍摄，因此假定图像是完全配准的。由于目前对高动态图像的评判没有统一的客观指标，因此评判标准以主观评判为主，即视觉效果评判。另外，辅加客观指标直方图辅助视觉评判。

2.1 合成前后图像的对比

图1是同一场景6幅不同曝光的图像。

(a) 原始图像1

(b) 原始图像2

(a) 原始图像1

(d) 原始图像4

(e) 原始图像5

(f) 原始图像6

图1 6幅原始低动态范围图像

图2(a)是通过加权平均进行合成的高动态图像，图2(b)是本算法合成的图像。

(a) 加权平均

(b)本算法结果

图2(b)是通过7×7的窗实现原始图像区域方差特征的提取，然后对得到的图像通过5×5的掩膜实现均值滤波，以去除实验结果存在的边缘不平滑效果。

算法的一个关键点是提取特征时窗大小的选择，图3(a)为提取方差特征时使用3×3窗的实验结果；图3(b)为15×15窗的实验结果。

(a) 窗3合成图像

(b) 窗15合成图像

从图3看出，在提取方差区域特征时，窗太小会导致得到的合成图像不清晰，噪声大；窗太大导致图像边缘较为突出，图像较为模糊，例如：人物的头部。因此选用7×7的窗较为合适。

2.2 主观评判结果

从视觉角度直观的评判加权平均后的高动态图像，丢失了很多原始低动态范围图像的细节信息。而本算法得到的高动态范围图像细节信息较多，视觉效果更好，能真实的反应现实场景的图像信息，较为符合人们的视觉需求，如图4所示。

(a) 平均加权合成图

(b) 本算法合成图

2.3 客观评判结果

为了更进一步客观的说明本算法得到的合成图像动态范围的增强，采用了灰度直方图作为标准来评判合成图像动态范围的变化，如图5所示。

可以看出，经过本算法对图像动态范围进行处理得到的最后一幅图中，灰度值在 0 和 255 附近得到抑制，去掉过曝光点和欠曝光点，图像亮度适中，人眼视觉效果得到改善。

(a) 原始图像1

(b) 原始图像2

(c) 原始图像3

(d) 原始图像4

(e) 原始图像5

(f) 原始图像6

(g) 本算法合成图像

3 结束语

高动态范围图像获取算法不需要对原始低动态范围图像进行亮度域的恢复，而直接对图像像素信息进行处理，提取原始图像的细节特征，得到的高动态范围图像更接近于现实场景，能保留更多原始图像的细节信息。另外，权系数确定准则较常见的方法效果好，可以有效地保留原始信息像素点。

该算法可以应用于刑侦案件的处理中，也可以应用于摄影技术中，另外还可以应用于其他图像处理技术中，例如图像分割、图像特征提取等处理，应用范围较为广泛。本算法得到的图像视觉效果较好，但还需要对图像质量进行提高，算法不适用于动态场景。

[1] Nicholson A. Canon EOS 5D Mark III review[EB/OL].(2013-12-20)[2014-06-03].http://www.tech-radar.com/reviews/cameras-and-camcorders/cameras/digital-slrs-hybrids/canon-eos-5d-mark-iii-1074186/review.

[2] Robertson M A, Borman S, Stevenson R L. Dynamic range improvement through multiple exposures[C]//Proc. of 1999 IEEE International Conference on Image Process. Kobe: IEEE, 1999:159-163.

[3] Bandoh Y, Qiu G P, Okuda M, et al. Recent advances in high dynamic range imaging technology[C]//Proc. of 2010 IEEE 17th International Conference on Imaging Processing. Hongkong: IEEE, 2010: 3125-3128.

[4] Debevec P E, Malik J. Recovering high dynamic range radiance maps from photographs[C]//Proc. of Computer Graphics Annual Conference: SIGGRAPH 97 Conference. USA: ACM Press, 1997:369-378.

[5] Tocci M D, Kiser C, Tocci N, Sen P. A versatile HDR video production system[J]. ACM Transactions on Graphics, 2011,30(4):41-89.

[6] Rovidz A, Peter V. Method for merging multiple exposure color image data[C]//Proc. of International Conference on Intelligent Engineering Systems. Barbados: IEEE, 2009:27-31.

[7] 周继权,王庆. 基于相机阵列的高动态范围图像合成方法[J]. 计算机应用研究, 2013,30(9):2859-2860.

[8] Mertens T, Kautz J, Van Reeth F. Exposure fusion[C]//15th Pacific Conference on Computer Graphics and Applications. Maui HI: IEEE, 2007: 382-390.

[9] Robertson M A, Borman S, Stevenson R L. Estimation-theoretic approach to dynamic range enhancement using multiple exposures[J]. Journal of Electronic Imaging, 2003,12(2):219-228.

[10] Park T J, Park I K. High dynamic range image acquisition using multiple images with different apertures[J]. Optical Engineering, 2012,51(12):127002.1-127002.7.

[11] Jinno T, Okuda M. Multiple exposure fusion for high dynamic range image acquisition[J]. IEEE Transactions on Image Processing, 2012,21(1):358-365.

[12] An J, Lee S H, Kuk J G, et al. A multi-exposure image fusion algorithm without ghost effect[C]//Proc. of Acoustics, Speech and Signal Processing: IEEE International Conference. Prague: IEEE, 2011:1565-1568.

[13] Sen P, Kalantari N K, Yaesoubi M,et al. Robust patch-based HDR reconstruction of dynamic scenes[J]. ACM Transactions on Graphics, 2012,31(6):1-11.

[14] Vuong Q K, Yun S H, Kim S. A new auto exposure and auto white-balance algorithm to detect high dynamic range conditions using CMOS technology[C]//Proc of the World Congress on Engineering and Computer Science. San Francisco, USA: IEEE, 2008:205-210.

[责任编辑:祝剑]

High dynamic range image acquisition based on detail features

LIU Ying, JIAO Shuyun, LIU Weihua

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

In order to eliminate the gap between the dynamic range of the real scene and that of digital images, an acquisition algorithm based on detail features is proposed. Firstly, the detail features of low dynamic range images in different exposures in terms of detail feature are extracted. It is obvious that large detail feature indicates more details. Secondly, the normalization of local feature are served as weights in image fusion. Finally, a high quality image is generated. Experiments show that the proposed method can provide fusion results with richer details and wider dynamic range. Moreover, the high dynamic range image acquired can be clearly shown on low dynamic range displaying device without tone-mapping work.

high dynamic range image, image fusion, detail feature, multiple exposure images

10.13682/j.issn.2095-6533.2014.06.004

2014-06-03

国家自然科学基金青年资助项目(61202183)；陕西省国际科技合作计划基金资助项目(2014KW01-01，2013KW04-05)；西安邮电大学校青年教师科研基金资助项目(ZL-2012-01)

刘颖(1972-)，女，博士，高级工程师，从事图像检索及图像/视频特征分析研究。E-mail:ly_yolanda@sina.com 焦淑云(1988-)，女，硕士研究生，研究方向为高动态范围成像。E-mail: jsysmile@126.com

TP391.41

A

2095-6533(2014)06-0017-05