基于双边纹理滤波的图像细节增强方法

郝志成，吴　川，杨　航，朱　明

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)



基于双边纹理滤波的图像细节增强方法

郝志成，吴川，杨航*，朱明

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

摘要：为了实现图像的细节增强，特别是纹理细节增强，同时尽可能保持图像的结构完整，提出了一种基于双边纹理滤波的图像多尺度分解方法。首先，对图像进行多尺度双边纹理滤波分解，分别得到一幅基本图像和一系列细节纹理图像。接着，类似于小波增强方法，对细节图像采用多尺度自适应增强方法，得到一系列增强后的纹理细节图像。最后，将基本图像和增强后细节图像相加，重构出最后的增强图像。实验结果表明：本文提出的增强方法能够在突出边缘的同时，较好地增强图像中的纹理细节信息。将基于双边纹理滤波的多尺度分解引入图像增强，能更好地体现图像纹理细节特征，为增强图像提供更加丰富的信息。

关键词:图像增强；结构纹理保持滤波；双边纹理滤波；多尺度分解

1引言

图像增强技术是图像处理领域一个古老但又极其重要的问题，它在航天航空、军事侦察、医疗诊断、生物识别、空间观测等领域有着十分广泛的应用，因此对它的研究具有很重要的实际意义。随着信息科学大跨步的前进，新的应用不断涌现，这些应用也推动着图像增强技术的快速发展。可以预见，在未来的信息社会中，数字图像增强技术的应用将会越来越广泛，作用将会发挥越来越重要。

目前图像增强的方法可以分为以下几类：

(1)统的增强方法，又可以细分为空域增强和频域增强。比较有代表性的空域增强方法有直方图衡化[1]、图像锐化等；频域增强方法有同态滤波、高通滤波等。其中为了能够对图像局部特征进行自适应增强，学者们提出了基于局部的图像增强方法[2-10]，具有代表性的有局部直方图均衡化方法[2]和对比度受限自适应直方图均衡化方法[3]；(2)基于变换域的方法，这类方法利用现有的多尺度变换，例如小波[11]、曲波[12]等对图像进行多尺度分解，然后对变换系数进行拉伸，最后再进行逆变换得到增强图像，如Brown提出了一种非线性的多尺度增强方法[13]；(3)模糊增强方法,自然图像的特点是其自身的复杂性，灰度分布的随机性和模糊性，使得模糊集合理论成为图像增强的一种有效工具。不少学者致力于把模糊集理论引入图像处理和识别技术的研究[14-15]，另外模糊集方法与神经网络[16]、遗传算法[17]等现代优化算法相结合用于图像增强也受到了广泛关注。

近年来，保持边缘滤波得到了广泛的关注，这类滤波器的最大特点是可以在对图像进行平滑的同时，不模糊图像中的边缘[18-23]。典型的边缘保持滤波器包括：各向异性扩散滤波[20]、双边滤波[21]、加权最小二乘滤波核[22]以及L0光滑滤波[23]等。在图像处理领域，多尺度分解被频繁的使用[24-25]，因为这种分解能够有效提取出图像的特征信息，例如曲线和纹理等。然而，一些多尺度分解无法避免在图像边缘处产生圆晕效应，例如，拉普拉斯金字塔分解[26]，因为他们在分解过程中使用了如高斯滤波器等的线性滤波器。因此一些研究者构造基于非线性边缘保持滤波的多尺度分解，将其应用到图像处理中。本文提出基于双边纹理滤波的多尺度结构纹理分解方法，利用多尺度自适应方法处理图像细节增强问题。本文选择使用双边纹理滤波器[27]，因为相对于其他边缘保持滤波器，它最大的优点就是能够将图像中的纹理细节信息很好的分离出来，同时保持原图像中边缘的清晰，不会产生虚假边缘，这个性质非常有利于图像纹理细节的增强。

本文首先简要介绍双边纹理滤波，然后提出基于双边纹理滤波的多尺度结构纹理分解方法，并给出图像多尺度自适应增强方法，最后进行多组图像增强对比实验。实验结果表明，本文提出的基于多尺度双边纹理滤波分解的自适应增强算法取得了较好的增强效果，更好地体现了图像中的空间细节、纹理等特征，为图像观察者提供了更加丰富的信息。由于图像增强的方法往往具有针对性，很难对增强结果进行客观指标评价，因此本文凭借人的主观视觉效果以及经验对处理结果加以评价。

2双边纹理滤波介绍

2.1双边滤波简介

在介绍双边纹理滤波之前，本文简单回顾在边缘保持滤波器族中具有奠基性工作的双边滤波。

给定一个输入图像I，一个参考图像G(G可以和I相同)，双边滤波的输出为J，则它们有如下关系:

(1)

式中，kp是归一化因子。 输出Jp是在像素p的一个邻域Ωp中，所有Iq的加权平均。f和g是两个高斯函数。 参考图像G的选取对双边滤波的处理效果影响极大，因此我们可以根据不同的任务来设计G。而本文介绍的双边纹理滤波就是巧妙的设计了参考图像G来达到图像结构/纹理分离的目的。

2.1双边纹理滤波

双边纹理滤波[27]是一种新颖的结构保持分解算子，它是双边滤波的一个简单改进，但能够更好地滤除图像中的纹理细节， 同时很好地保持边缘不模糊。双边纹理滤波的核心思想是通过局部块转移的方法来获取纹理特征，它能够有效地实现图像纹理区域的软分割并保留图像的结构。对于每一个像素而言，块转移方法能够从其相邻的块中排除显著的结构边缘，同时保留包含这个像素的纹理区域。

假设一个大小为k×k的图像块，则在图像I中，对于每一个像素p，共有个k2图像块包含p。记 以q为中心的图像块为Ωq。在这些块中，假设，Ωq是包含显著结构边缘最少的块。一旦发现Ωq满足这个性质，我们就在这个块内进行平均滤波，得到当前点的像素值，记为Bq，我们将这个结果作为联合双边滤波的参考图像。

为了找出包含显著结构最多的块，本文选择一种纹理度量算子。假设在一个区域内，纹理信息的能量要少于相邻的结构边缘信息(这对于自然图像而言是成立的)，那么我们能够使用调性范围Δ(Ωq)度量图像块中包含结构边缘的似然度:

(2)

式中，Imax(Ωq)和Imin(Ωq)分别表示块中像素值的最大值和最小值。这样我们选择具有最小调性范围的块，这样的块在计算纹理特征时包含显著性边缘的可能性最小。

下面我们给出双边纹理滤波的具体算法。

给定输入图像I，首先应用一个k×k的均值滤波核计算图像的均值，记为B。对于每一个像素p，根据式(2)计算其调性范围。在这个像素的邻域内，找到具有Δ(Ωq)最小的块，将Bq付给参考图像中的Gp。最后获得输出图像J使用联合双边滤波，其中G作为参考图像。

为了能够得到更加鲁棒的纹理-结构分解，需要对上述方法做两点改进。由于调性范围的定义过于简单，所以采用文献[28]的建议，利用改进的相关全变差mRTV来替代:

(3)

(4)

式中，|(∂I)r|表示r∈Ωq的梯度能量,而且ε是一个小的正常数，防止分母为零。

mRTV的值在图像光滑区域将会非常的小，同时也对图像的噪声比较敏感。为了处理这个问题，当将Bq的值赋给Gp时，需要检查Ωq和Ωp的mRTV值。当这两个mRTV值很接近时，将Bp的值赋给Gp，当且仅当mRTV(Ωq)

为了实现上述思想，采用图像B与G之间的线性插值来得到最终的参考图像G′，其中权重由mRTV的值来确定，公式如下：

(5)

(6)

权重αp∈[0,1]在光滑和纹理区域是很小的，但在边界附近则比较大。在式(6)中，σα控制权重从边缘到平滑/纹理过度的变化程度，一般选择σα=5k。

下面，给出双边纹理滤波的基本流程：

(1)对输入图像I进行均值滤波得到B；

(2)使用式(3)，计算I的mRTV值；

(3)对与 每一个像素p，

(a)找到在Ωp中具有最小mRTV的q；

(b)Gp=Bq。

(5)将G′作为参考图像，I作为输入图像，进行双边滤波得到输出图像J。

在本文中，记双边纹理滤波为:

(7)

式中，k表示均值滤波的尺寸。

3基于双边纹理滤波的增强方法

3.1基于双边纹理滤波的多尺度分解与重构

图1　双边纹理滤波处理效果图 Fig.1　Overall process and intermediate images of our bilateral texture filtering

在图像处理的各类问题中，结构/纹理图像分解这一方法经常被采用，这种方法的基本思想是将原始图像分解为一幅结构图像和多幅纹理细节图像。根据这种分解思路，本文提出一种基于双边纹理滤波的多尺度结构/纹理分解方法。首先，利用双边纹理滤波对原始图像进行滤波，将结果作为结构图像，这幅图像中包含了原始图像中的大尺度信息；然后，将原始图像与结构图像相减，结果作为纹理图像，这幅图像中包含了原始图像中光滑掉的所有纹理细节信息。对于一幅输入图像I，在其第L级分解中，结构图像uL-1和L-1个纹理细节图像di(i=1,…,L-1)可由如下两个式(8)和(9)计算得出：

(8)

(9)

式中，u0=I。在式(8)中，ui(i=1,…,L-1)表示图像I中的粗尺度部分，然后将它作为下一级分解中的输入图像。

从式(8)和(9)可以看出，由图像I可以得到结构图像uL-1和纹理细节图像di(i=1,…,L-1)，而其重构方法可以由如下公式得到:

(10)

在本文的实验中，设定L=3，k1=15,k2=11,k3=7。

图2　3级多尺度分解果图 Fig.2　Three levels multi-scale decomposition

3.2多尺度自适应增强算法

由于本文采用的是多尺度分解方法，因此可以借鉴小波变换增强方法的原理[13]。小波增强的基本原理是先对原图像进行多尺度小波分解，得到不同尺度下的系数矩阵，对应不同的频带。然后，对各组系数进行拉伸处理，然后再进行逆变换。例如，对低频(结构部分)系数乘以大于1的增强系数，用以提高图像的总体亮度，对其他3个子带进行拉伸，可以抑制噪声和增强细节，由此可以获得更加清晰的图像效果。

由此，利用双边纹理滤波的多尺度结构纹理分解应用到图像增强中，所需要的3个步骤为：分解、纹理细节成分能量放大和重构。多尺度分解的目的是从输入图像中得到一幅结构图像和多幅纹理细节图像；能量增强的目的是将纹理细节图像中的细节突出出来；重构是将结构图像和能量放大后纹理图像相加，得到最后的增强图像。下面我们描述细节增强所采用的方法：

为了消除噪声的影响和增强图像的纹理等细节，采用以下的自适应增强变换[29]，具体公式如下：

(11)

(12)

(13)

式中，b和c用来控制增强的幅度。从图3可以看出，函数主要增强了灰度值的中间部分，因为较低的值对应噪声，而较高的值对应边缘/纹理细节。

图3　变换函数f(x)图示，其中b=0.25，c=40 Fig.3　Plot of transform function f(x) when b=0.25 and c=40

(14)

4实验结果与讨论

为了验证本文提出的增强算法的有效性和优越性，将其与局部对比度增强[28]、小波增强[13]、双边滤波增强[22]这3种具有代表性的增强算法进行对比实验。

图4　“Barbara”图像增强效果 Fig.4　Results of the “Barbara” images using different methods

第一组实验是对‘Barbara’图像增强，为了验证方法对纹理细节的增强效果。图4中给出了不同算法的处理效果。图4(a)是原图像，而(b)～(e)是不同算法的增强结果，可以看出，本文的方法对原图像的纹理特征(例如裤线、披肩等纹理细节)得到了更好的效果，同时保持了图像整体结构的完整；然而局部对比度增强方法和小波增强方法产生了虚假边缘，双边滤波增强没有达到本文的强化效果，特别是对原图中纹理信息丰富的区域没有得到有效的改善。

由于小波变换主要针对点奇异特征进行增强，所以对‘Barbara’图像中大面积的震荡周期纹理部分往往无能为力，见图4(c)；对于本图，全局对比度没有太大变化，因此采用局部对比度增强，也没有达到很好的效果。双边滤波方法虽然能够针对边缘信息进行很好的增强，但处理纹理部分的效果差强人意。本文提出的算法恰是发挥了双边纹理滤波在处理纹理信息上的优势，因此得到了满意的效果。

图5给出了第二组实验‘Breast’医疗图像的增强结果，图5(a)是源图像，(e)是使用本文算法得到增强结果。从视觉上可以看出，本文的方法能够更好地增强原图像中不清晰的细节，得到丰富的纹理特征。特别是在原图中不清晰的血管等纹理信息，在增强的图像中得到突出，而原有的肿块在增强后也没有破坏边缘，不仅增强了可视化效果，同时为医生诊断病情提供了更加丰富和准确的信息。而局部对比度增强方法(图5(b))所示，虽然在局部细节上有所增强，但整体效果不明显。小波增强方法能够对图像中点状信息进行增强，对于图像中的线往往没有好的效果，如图5(c)所示，这是小波变换自身固有的缺点。对于双边滤波结果，在肿块部分没有得到很好的处理效果，同时细节增强的突出程度也不如本文提出的方法。

图5　“Breast”医疗图像增强效果 Fig.5　Results of the “Breast” images using different methods

第三组实验针对普通照片进行增强。不同算法得到的融合结果总结在图6中，其中，(a)是原图像，(b)～(e)是各个算法得到的结果。从图6中可以看出，使用本文的增强方法得到图像对比度高，信息丰富，其中图像中的发丝、脸部细节以及衣服纹理等特征相对于其他增强算法获得的图像都更为清晰。而对比度增强方法(图6(b))提升了图像的整体亮度，但细节部分不够突出；小波增强结果(图6(c))在人物的眼睛、嘴等点状信息丰富的区域得到了很好的效果，而对于其他部分效果并不明显；图6(d)是双边滤波增强效果，较之(b)和(c)有一定的优势，但整体的细节效果远不如图6(e)。本文提出的增强方法不仅提高了图像的亮度，同时在人物的表情、衣物等方面均有很大的增强效果。

图6　“Magenta”图像增强效果 Fig.6　Results of the “Magenta” images using different methods

通过本小节给出的多组对比实验可以看出，局部对比度增强算法可以有效调节图像的亮度，增加局部细节的表达，对图像的动态范围也进行了有效的拉伸，但图像的边缘纹理像增强并不明显，同时对全局对比度一致的图像往往会失效，使得一些细节模糊，而小波增强不会有过增强现象，对图像的局部细节有一定的增强效果，但对图像的边缘纹理的增强并不明显，这是小波变换本身的性质决定的； 双边滤波增强的原理与本文的方法有一定的相关，但主要差别是:(1)本文采用了多尺度分解的策略，这样可以将细节信息进行多层次的分离，更加有利于增强；(2)本文采用的双边纹理滤波能更加有效地将图像进行结构/纹理的分离，这是以往其他边缘保持滤波器无法达到的。这种特点非常适合进行图像的纹理细节增强。因此双边滤波增强虽然能够对图像的边缘细节得到比较好的处理效果，但对于足够多的纹理部分则无法达到很好的增强效果。因为双边滤波的主要优势就是对图像的边缘部分进行保持，而对于纹理部分的保持不如双边纹理滤波，所以其处理效果没有达到本文的效果。而通过本文算法增强后，图像目标的边缘和纹理细节都得到了很好的保留，而且明显增强了，例如图4(e)、图5(e)和图6(e)。

5结论

双边纹理滤波能够保持图像结构不模糊且将图像的纹理细节部分有效的分离出来，因此本文提出一种多尺度结构/纹理分解的方法，将图像分解成一幅结构图像和一系列细节图像，这样能够有效提取图像的细节信息；同时采用一种自适应多尺度增强算法，分别对得到的细节图像进行增强。通过多组对比实验，验证了本文提出的增强算法是一种可行而且有效的图像细节增强算法，从视觉角度上获得了边缘、纹理等细节信息丰富的图像。

参考文献：

[1]章毓晋.图像处理和分析(第一版)[M].北京：清华大学出版社，1999.

ZHANG Y J.ImageProcessingandAnalysis(First Edition)[M]. Beijing:Tsinghua University Press.(in Chinese)

[2]LINDE O，BRETZNER L.Local histogram based descriptors for recognition[C]. 4thInternational Conference on Computer Vision Theory and Applications, VISAPP, Feb.5-8,2009.

[3]CHAN H Y, ZHU H,LAM F K. Image contrast enhancement by constrained local histogram equalization[J].ComputerVisionandImageUnderstanding,1999,73(2):281-190.

[4]朱瑞飞,贾宏光, 王超，等.应用参数化对数模型增强图像细节及对比度[J].光学 精密工程,2014,22(4):1064-1070.

ZHU R F,JIA H G，WANG CH,etal.. Enhacement of image detail and contrast by parameterized logarithmic framework[J].Opt.PrecisionEng.,2014,22(4):1064-1070.(in Chinese)

[5]赵文达,续志军,赵建.基于梯度直方图变换增强红外图像的细节[J].光学 精密工程,2014,22(7)：1962-1968.

ZHAO W D,XU ZH J,ZHAO J. Enhancement of infrared image details based on gradient histogram transform[J].Opt.PrecisionEng.,2014,22(7)：1962-1968.(in Chinese)

[6]周妍,李庆武,霍冠英.基于非下采样Contourlet变换系数直方图匹配的自适应图像增强[J].光学 精密工程,2014,22(8)：2214-2222.

ZHOU Y,LI Q W,HUO G Y. Adaptive image enhancement based on NSCT coefficient histogram matching[J].Opt.PrecisionEng.,2014,22(8)：2214-2222.(in Chinese)

[7]陈莹，朱明.多子直方图均衡微光图像增强及FPGA实现[J].中国光学，2014，7(2)：225-233.

CHEN Y,ZHU M. Multiple sub-histogram equalization low light level image enhancement and realization on FPGA[J].ChineseOptics,2014，7(2)：225-233.(in Chinese)

[8]王静轩,尹传历.基于DSP和FPGA的嵌入式实时图像增强系统[J].液晶与显示,2013,28(3):459-463.

WANG J X,YIN CH L. Embedded color image enhancement system based on DSP and FPGA[J].ChineseJ.LiquidCrystalsandDisplays, 2013,28(3):459-463(in Chinese).

[9]赵建,赵凡,曲锋.彩色图像的FPGA实时增强系统实现[J].液晶与显示, 2014,29(4):629-636.

ZHAO J,ZHAO F,QU F. Implement of system for color image enhancement in real-time based on FPGA[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(4):629-636.(in Chinese)

[10]李毅,张云峰,年轮,等.尺度变化的Retinex红外图像增强[J].液晶与显示,2016,31(1):104-111.

LI Y,ZHANG Y F,NIAN L,etal.. Infrared image enhancement method based on scale varies Retinex theory[J].ChineseJ.LiquidCrystalsandDisplays,2016,31(1):104-111.(in Chinese)

[11]MALLAT S G. Multifrequency channel decompositions of images and wavelet models[J].IEEE,1989,37:2091-2110.

[12]CANDES E,DEMANET L,DONONHO D,etal.. Fast discrete curvelet transform[J].MultiscaleModelingSimulation,2006,5(3):861-899.

[13]BROWN T J. An adaptive strategy for wavelet based image enhancement[C]. Proceeding of Conference on Machine Vision and Image Processing Conference. Belfast Irish,IEEE,2000:67-81.

[14]XU T，WANG C. Fuzzy degree of image based on fuzzy mathematics[J].ComputerGraphics,2002(8):747-749.

[15]ANZUETO-RIOS A,MORENO-CADENAS J A,GOMEZ-CASTANEDA F. Fuzzy technique for image enhancement using B-spline[J].IEEE,2009,14(8):347-349.

[16]LIEN T. Predict soil texture distributions using an artificial neural network model[J].ComputersandElectronicsinAgriculture,2009,3(37):41-42.

[17]HASHEMI S. An image enhancement method based on genetic algorithm[C]. ICDIP,Piscataway,NJ,USA,7-9 March,2009:107-110.

[18]CHUNG K L,YANG W J,YAN W M. Efficient edge-preserving algorithm for color contrast enhancement with application to color image segmentation[J].J.Vis.Commun.ImageRepresent.,2008,19(5):299-310.

[19]CHEN C,WANG C D. A simple edge-preserving filtering technique for constructing multi-resolution systems of images[J].PatternRecognit.Lett.,1999,20(5):495-506.

[20]PERONA P,MALIK J. Scale-space and edge detection using anisotropic diffusion[J].IEEE,1990,12(7):629-639.

[21]TOMASI C,MANDUCHI R. Bilateral filtering for gray and color images[C]. Proc. Int. Conf. on Computer Vision,Bombay,India,January,1998:839-846.

[22]RBMAN Z,FATTAL R,LISCHINSKI D,etal.. Edge-preserving decompositions for multi-scale tone and detail manipulation[J].ACMTrans.Graph.,2008,27(3):1-10.

[23]XU L,LU C,XU Y,etal.. Image smoothing via L0 gradient minimization[J].ACMTrans.Graph.,2011,30(6):174-12.

[24]ZHANG Z,BLUM R. A categorization of multiscale decomposition- based image fusion schemes with a performance study for a digital camera application[J].IEEE,1999,87(8):1315-1326.

[25]PIELLA G. A general framework for multiresolution image fusion: from pixels to regions[J].Inf.Fusion,2003,4(4):259-280.

[26]BURT P J,ADELSON E H. The Laplacian pyramid as a compact image code[J].IEEE,1983,31(4):532-540.

[27]CHO H,LEE H,KANG H,etal.. Bilateral Texture Filtering[J].ACMTransactionsonGraphics，2014，33(4):128.

[28]XU L,YAN Q,XIA Y,etal.. Structure extraction from texture via relative total variation[J].ACMTransactionsonGraphics，2012，31(6):139.

[29]ZHANG Z B,MA S L,HAN X. Multiscale feature extraction of finger-vein patterns based on curvelets and local interconnection structure neural network[J].ICPR,2006(4):145-148.

收稿日期:2016-02-26；

修订日期:2016-04-19

基金项目：国家自然科学基金资助项目(No.61401425)

文章编号2095-1531(2016)04-0423-09

中图分类号：TP394.1

文献标识码:A

doi:10.3788/CO.20160904.0423

作者简介：

郝志成(1978—),男,辽宁营口人,副研究员,2007 年于中国科学院长春光学精密机械与物理研究所获得博士学位，主要从事信号检测、数字图像处理、模式识别方面的研究。E-mail:hzc972513@tom .com

杨　航(1985—)，男，吉林农安人，博士，助理研究员，2009年、2012年于吉林大学分别获得硕士、博士学位，主要从事图像复原、图像融合、模式识别等方面的研究。E-mail:yhang3109@163.com

Image detail enhancement method based on multi-scale bilateral texture filter

HAO Zhi-cheng, WU Chuan, YANG Hang*, ZHU Ming

(ChangchunInstituteofOptics,FineMechanicsandPhysics,ChineseAcademyofSciences,Changchun130033,China)*Correspondingauthor,E-mail:yhang3109@163.com

Abstract:In order to realize image enhancement, especially in texture details, and preserve the structure integrity of image， we propose a multi-scale bilateral texture filter based image decomposition method and a multi-scale adaptive enhancement strategy. First, we decompose the source images by multi-scale bilateral texture filter, and a structure image and a series of detailed images are obtained. Then，we adopt a multi-scale adaptive enhancement for the detailed images. Finally, the enhanced image can be reconstructed by adding the structure based image and the enhanced detailed images. Experiments show that the presented method can enhance the structure information and detailed information in the enhanced image. The proposed method can better reflect the image details, and provide more abundant texture information when introducing the multi-scale bilateral texture filter decomposition into image enhancement.

Key words:image enhancement;structure/texture-preserving filter;bilateral texture filter;multi-scale decomposition

Supported by National Natural Science Foundation of China(No.61401425)