多光源图像细化和细节增强的协同图像处理算法研究

张德发，肜 丽

(1.台州职业技术学院计算机工程系，浙江台州 318000;2.信阳农林学院计算机科学系，河南信阳 464000)

0 引言

一般情况下，由于受光学限制，很难直接用现有的相机捕捉到高质量图像。一种可能的方法是捕捉多张同一场景的图像，然后合成所需要的图像。这种图像处理的方式叫做“协同图像处理”。通过协同图像处理方法，图像的质量在许多方面得以提高。例如，由多张低分辨率的图像可以合成一张高分辨率的图像［1］，对多张同场景、不同曝光度、低动态范围图像的合成可以提高图像的动态范围［2］。

除此之外，协同图像处理还可以增强图像的内容。同一场景在不同的光照条件下呈现的效果也不尽相同，不同光照条件下捕捉到的一组多光源图像比单张图像能提供对场景更详尽的描述。文献［3］开发了一种可以通过一组场景图像生成一个图像的交互式工具。这种方法可以对场景轮廓进行精确描绘，但它不能重现真实的场景，输出图像看起来更像一幅画而不是一张照片。文献［4］提出了用梯度域法把不同光照下捕获的图像组合起来。文献［5］通过使用最大梯度法构建辅助层，可以有效地把所有输入信息结合起来，但同时在阴影边缘通常有较大的梯度，导致不同图像的阴影边缘也被包含在辅助层。如何去除细节层中阴影边缘引起的大梯度便成为一个具有挑战性的问题。文献［6］中指出阴影可能会掩盖住某些有用的细节，需要进一步研究如何提高阴影区的亮度，使阴影区的细节更加清晰可见。文献［7］提出了一个细节增强框架，该框架使用双边滤波器把输入图像分解。文献［8］中该多尺度双边滤波器的使用可以对细节进行细致操作。然而由于输出图像混杂着阴影，所以合成图像有时候看起来并不自然。

本文提出了一种基于内容的协同图像处理方法，生成包含多光源输入图像的详尽信息的合成图像，合成的图像比任何一个输入图像提供更详尽的场景描述。该方法首先使用最大梯度法构建辅助层，提出一个新的有效的阴影检测方法解决了细节层中由阴影边缘导致的大梯度问题;然后研究了从辅助图像里提取出细节层的方法;除细节层外，提出了构造能够呈现大量场景特性的基础层的方法;在得到基础层后，研究了通过基础层和细节层来生成合成新图像的方法。与之前的处理方法相比，本文的方法不仅增强了曝光区域已有的细节，而且还给输入图像填充了更多细节，尤其是在阴影区域。因此，采用这种方法合成的图像看起来更自然。

1 协同图像处理算法

1.1 梯度场的建立

由于阴影边缘通常存在大梯度，所以▽Ymax不可避免地会包含阴影边缘的梯度。为了去除阴影边缘导致的伪迹，检测阴影位置和细化阴影边缘像素周围的梯度场也是必要的［9］。由于采用了多光源图像，故设计一个联合阴影检测方案。为简单起见，本文采用基于直方图分割算法来独立检测每个图像的阴影位置。模型颜色空间的一幅图像，其R比例图定义为

(2)式中，Q(x，y)为图像(x，y)像素处的饱和度。

在比例图中，本影区的值较大，而亮区的值较小。然后用两级分割算法将比例图映射到不同区域。在第一阶段的分割中，用来在整个直方图中找到一个阈值T，将本影区和其他区域分离开［10］。根据文献［7］，阈值T应该使函数取最大值

经过第一阶段的分割后，图像被分为暗区和亮区。但在半影区，这是对应的半透明区，仍包含在亮区。因此，需要第二阶段分割检测半影区的位置。在第二阶段中，分割算法应用于直方图［0，T］之间，这样就可以获得另一个阈值。然后，直方图的比例图分割成3个区域，暗影区域［T，255］，半影区［)，和亮区［0)。则可以根据分割结果得到输入图像的一个蒙板，如图1所示。梯度的像素在阴影边缘附近，将被设置为0。因此，第二大梯度将被用于(1)式来建立梯度场▽Ymax。

图1 阴影检测算法的处理结果Fig.1 Processing result of shadow detection algorithm

1.2 细节层的提取

梯度场建立后，期望包含输入图像所有细节的辅助图像U，可以由如下最优化问题［11］生成

(4)式中，▽U(x，y)为辅助图像在(x，y)像素处的灰度梯度。

由于本文所提到的方法是用来增强图像的细节而不是轮廓信息，U中的小细节与大特性需要分离。为了简单起见，在对数域完成以上分离。

(5)式中，L(x，y)，Ld(x，y)，Lb(x，y)分别等于log(U)，log(Ub)，log(Ud)，其中 Ub，Ud分别表示大特性和细节。

用如下的二次函数来实现L(x，y)的分解

1.3 基础层的建立

(9)式中，η是亮化的强度，默认值为0.5，η越小，暗区就越亮。值得注意的是，提高暗区的亮度将会使整个图像的对比度降低。

(10)式中，μ控制图像的整体亮度，默认值为0.36。

1.4 图像合成

构建细节层后，根据 (8)式中定义的细节层和(10)式中定义的基础层，最终的合成图为

(11)式中，θ控制细节的增强强度，默认值为1.5。用户可以通过改变θ的值来实现细节的调整。随θ增大，细节将变锐化。反之，图像将变得模糊。

2 仿真分析

本实验采用Visual C++6.0实现上述方法。所使用的 PC机，其 CPU为酷睿 2E4300、主频为2.0 GHz、显存为1 GByte。实验所使用的所有图片均来自实验室环境下实地拍摄的自然场景。

通过测试多组多光源图像得到的大量实验结果，对本文所述方案进行了验证。

为了满足不同用户的喜好，本文的方法允许用户通过改变θ值来交互式控制细节增强的强度。图2为不同θ值对应的增强效果图。

图2 不同θ值对应的增强效果图Fig.2 Different values ofθcorresponding enhancement effect

阴影检测方案的效果如图3所示。图3a没有应用阴影检测方案，易见花瓣上有一些伪迹。这些线是由输入图像的阴影边缘引起的，并且这些线条使花看起来有些杂乱。图3b则是使用阴影检测方案生成的。

图3 有无阴影检测的处理效果对比Fig.3 Treatment effect comparison

现在把本文的方法和文献［4］中的方法作对比。文献［4］中也采用了梯度域法采集输入图像的信息。文献［4］中应用了一个线性方程来调整输入图像的不同光照。但文献［4］中的方法更适合大特性的融合，它不能对细节进行细腻化。如图4所示，本文的结果包含了更多的细节。

图4 文献［4］与本文算法的处理效果对比Fig.4 Treatment effect comparison of［4］and this algorithm

此外，文献［4］没有考虑输入图像的阴影信息。所以图4a中可以看到明显的伪迹。在图5中，本文的结果与文献［7］中提到的另一种协作图像处理方法作对比。文献［7］中每一个输入图像都被分解成细节层和基础层，然后所有的细节层被结合起来。输入图像的基础层也被加权求和。用户可以通过调整分配给每个基础层的权重系数来控制输出图像的阴影位置和强度。对用户来说，往往难以使输入图像杂乱的阴影有序化，如图5a所示。

通过文献［7］的方法和本文的方法结果的比较，可以看出2种方法都有效地合成了一幅含有丰富内容的图像。这2种方法都可以使暗影区丢失的细节再填充。但是本文的方法可以避免输出图像中含有杂乱阴影，并得到了一个比文献［7］更加自然的结果。此外，本文的方法可以在无任何交互调整下自动合成输入图像。这让本文的方法比文献［7］更易使用。

图5 文献［7］与本文算法的处理效果对比Fig.5 Treatment effect comparison of［7］and this algorithm

除了协同图像处理算法，本文的方法也和传统的细节增强算法—直方图均衡化［15］作了比较，结果如图6所示。直方图均衡化的原则是放大高对比度的直方图的区域，压缩低对比度的区域。暗影区通常是图像的一小部分，因此，直方图均衡化可能导致暗影区细节的丢失。相反，本文的方法在增强局部与其他区域对比的同时，也可以重填暗影区丢失的细节。

图6 局部直方图均衡化算法与本文算法的处理效果对比Fig.6 Treatment effect comparison of local histogram equalization algorithmand and this algorithm

3 结论

本文提出了一个新的协同图像处理方案，通过对一组同场景不同光照下捕捉的图像的合成，产生一个内容丰富细致的图像。在输入图像捕捉时，由于光照位置和强度的变化，曝光不足的区域是不同的。一个图像由阴影所隐藏的细节可能在其他图像中显现。输入图像组合后，将构造一个包含所有输入图像信息的细节层。将细节层与由一个输入图像生成的基础层复合，所有输入图像的细节在合成图里都会被显示出来。仿真结果已经证明本文的方法可以重现暗影区丢失的细节，同时增强了现有的细节。相对于输入图像，输出图像仍保持较高的保真度，看上去也非常自然清晰。但是该方法复杂度要远高于各文献中的算法，使得处理的实时性变差。如何优化算法、提高处理的实时性是下一步研究的重点，由于目前尚没有能客观评价处理结果的评价函数和量化指标，因此，有效的评价函数也需要进一步加以研究和完善。实际上，由于周围环境多变的复杂性以及拍摄中视角动态变化的影响，因此，还需进一步研究多目视觉或者其他多信息融合的协同图像处理算法。

［1］LERTRATTANAPANICH S，BOSE N K.High Resolution Image Formation From Low Resolution Frames Using Delaunay Triangulation［J］.IEEE Transactions on Image Processing，2002，11(12):1427－1441.

［2］DEBEVEC P E，MALIK J.Recovering high dynamic range radiance maps from photographs［C］//ACM SIGGRAPH 2008 classes.NewYork，USA:ACM，2008:31.

［3］AKERS D，LOSASSO F，KLINGNER J，et al.Conveying shape and features with image－based relighting［C］//Proceedings of the 14th IEEE Visualization 2003(VIS'03).［s.l.］:IEEE Computer Society，2003:46.

［4］RASKAR R，ILIE A，YU J.Image fusion for context enhancement and video surrealism［C］//ACM SIGGRAPH 2005 Courses.NewYork，USA:ACM，2005:4.

［5］朱立新，王平安，夏德深.基于梯度场均衡化的图像对比度增强［J］.计算机辅助设计与图形学学报，2007，19(12):1546－1552.

ZHU Lixin，WANG Pingan，XIA Deshen.Image Contrast Enhancement by Gradient Field Equalization［J］.Journal of Computer－aided Design ＆ Computer Graphics，2007，19(12):1546－1552.

［6］关雪梅.边缘检测算法在图像处理中的应用研究［J］.信息与电脑，2009，10:061.

GUAN Xuemei.Edge Detection Algorithm in Image Processing［J］.Information and Computer，2009，10:061.

［7］TOET A.Multiscale contrast enhancement with applications to image fusion［J］.Optical Engineering，1992，31(5):1026－1031.

［8］GERONIMO J S，HARDIN D P，MASSOPUST P R.Fractal functions and wavelet expansions based on several scaling functions［J］.Journal of Approximation Theory，1994，78(3):373－401.

［9］FATTAL R，AGRAWALA M，RUSINKIEWICZ S.Multiscale shape and detail enhancement from multi－light image collections［J］.ACM Trans Graph，2007，26(3):51.

［10］张笑微，王月琴.基于灰度图像的阴影检测算法［J］.兵工自动化，2007，26(7):45－47.

ZHANG Xiaowei，WANG Yueqin.Shadow Detection Algorithm in Gray Degree Image［J］.Ordnance Industry Automation，2007，26(7):45－47.

［11］TSAIV JD.A Comparative Study on Shadow Compensation of Color Aerial Images in Invariant Color Models［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，44(6):1661－1671.

［12］李彩花，胡晓平，李亚芹.图像处理中滤波器及边缘检测算法的实验与研究［J］.机电工程技术，2008，37(9):47－49，98.

LICaihua，HU Xiaoping，LIYaqin.Experiment and Research on Edge Detection and Filter in the Course of Image Processing［J］.Mechanical＆ Electrical Engineering Technology，2008，37(9):47－49，98.

［13］KIM Joung Youn，KIM Lee Sup，HWANG Seung Ho.An Advanced Contrast Enhancement Using Partially Overlapped Sub－block Histogram Equalization ［J］.IEEE Transactions on Circuits and Systems for Video Technology，2001，11(4):475－484.

［14］OTSU N.A Threshold Selection Method from Gray－Level Histograms［J］.IEEE Transactions on Systems，Man，and Cybernetics，1979，9(1):62－66.

［15］黄微，傅利琴，王琛.基于梯度域的保纹理图像阴影去除算法［J］.计算机应用，2013，33(8):2317－2319.

HUANGWei，FU Liqin，WANG Chen.Shadow removal algorithm within texture image based on gradient field［J］.Computer Applications，2013，33(8):2317－2319.

(编辑:王敏琦)