一种基于双边滤波和图像融合的增强方法

武院生，杨卫平，张胜辉，吕云波

（1.国防科学技术大学电子科学与工程学院，长沙410073；2.武警云南省总队迪庆州支队，迪庆674400）

一种基于双边滤波和图像融合的增强方法

武院生1，2，杨卫平1，张胜辉1，吕云波1

（1.国防科学技术大学电子科学与工程学院，长沙410073；2.武警云南省总队迪庆州支队，迪庆674400）

在系统研究可见光和红外图像融合技术的基础上，提出一种图像融合算法用以检测可见光图像中的隐含目标。为了在检测隐含目标的同时平滑图像中目标的边缘信息，采用双边滤波来去除噪声并在此基础上进行图像融合以获取图像完整信息。首先通过对图像添加噪声得到降质退化图像，然后采取双边滤波算法对降质图像进行平滑去噪，此后，再对滤波去噪后图像进行融合。结合双边滤波和图像融合方法，设计四种算法来验证双边滤波和图像融合在多源图像应用中的强大功能。研究测试了算法对可见光图像中因光线原因隐藏的人体目标检测性能。实验结果表明，该方法可以有效提高在背景图像中进行目标检测或识别的概率。

双边滤波；图像融合；目标探测；隐藏目标

1 引 言

静止图像中的目标检测包括行人检测，车辆检测以及监控［1－2］。多种方法被用于在图像中探测人体目标。在军事和监控应用中，通常由于光照、烟雾弱光、黑夜等影响，很难检测出噪声图像中的人体目标，由于这些因素，重要目标或特征可能会隐藏于可见光图像中。从这些图像中获取隐含目标包括图像获取、传输、统计、分析、处理、融合和显示等一系列过程。热传感器或夜视仪等传感器能获取人眼所不能感知的数据信息，有鉴于此，多传感器可以代替人眼从事一些探测工作。

当前，学者们正在拓展目标检测的应用领域，例如在交通安全、夜间观察、军事和医疗等领域。在夜晚城市街道或者大学校园里检测行人是很困难的。城市街道的背景中，有大量夜间高温的人造目标，如建筑物、路灯，交通工具散发的热量在红外图像中也可以被显示成一个亮点。这些背景噪声使得基于红外的行人目标探测更加复杂。

多传感器图像融合已成为另一种流行的机制［3－5］，多传感器（多光谱）成像系统可以提供更多的有用信息。这个处理过程可以提取所有信道特征信息形成一幅完整图像，然后将其传送到决策机构以辨别，这种技术可以提高图像质量并且可以应用到很多领域。图像融合是一个融合多幅图像信息组成一幅合成图像的过程，融合后的图像将提供更多信息，图像融合的过程就是从同一场景的多幅图像中提取相关信息组成一幅图像的过程。PCA、HIS颜色模型、Brovey、金字塔和多尺度几何分析是几种常用的图像融合方法，像素水平、特征水平、决策水平是三种融合层次，图像融合算法的发展绝大部分在于这三种层次。

研究的目的就是通过利用双边滤波器的优越性能来提高红外图像和可见光图像的融合效果，从而检测出场景中的隐含目标。当目标的前景和背景物体有着相同的颜色和亮度时，是很难被侦查到的；当夜间目标不能被清晰看到时，对目标的侦察就成为了真正的挑战；例如开着头灯的路上行驶的车辆和照明灯后面的物体。为能够有效探测到目标，研究中提出四种融合算法对基于双边滤波和图像融合的增强方法进行仿真实验，并对四种融合方法的结果进行比较，从中选取较好的增强方法。

2 研究方法

任何研究方法的准确与否都取决于实验中的系统方法以及基于实验输出而得到的结果［6］。研究中首先是识别目标，引导输入图像进行平滑处理，然后融合图像并输出，这种算法被称为前向融合算法。相反的，在平滑输出图像之前首先挑选输入融合图像，这种算法被称为后向融合算法。基于这些方法，不同水平的融合图像算法包括ABFF（平均前向融合）、ABBF（平均后向融合）、CBFF（条件前向融合）和CBBF（条件后向融合）。MIBF（Multisensor Imagefusion using Bilateral Filter，基于双边滤波的多源图像融合算法）－双边滤波多源图像融合包括这四种算法，这一点起源于两个重要的概念：FF（前向融合）和BF（后向融合）。这项工作将分两部分描述：融合与滤波。滤波部分被调整到融合部分的前面或者后面，如果输入图像首先是进行滤波然后再融合处理的叫做前向融合。相反的，后向融合是先进行融合操作，最后再进行滤波操作［7］。

2.1 双边滤波

目前，滤除图像噪声主要使用空域滤波和频域滤波两类。双边滤波（Bilateral Filtering，BF）是一种去噪能力很强的算法，属于典型的非线性滤波算法［8］，但双边滤波在本质上是一种基于邻域像素灰度值进行加权平均计算的滤波器，该算法既考虑空域信息，又考虑灰度相似性，故能够在滤除噪声的同时又具有保持图像边缘特征的能力。

可见光图像与红外图像融合时，采用普通的中值滤波器或者高斯滤波器进行处理，大量的边缘和细节信息在平滑噪声的同时会丢失，而后续红外图像目标的检测与识别与红外图像的边缘密切相关，因此能够保留边缘与细节特征的滤波器在红外图像的处理时被采用［9］。所以，双边滤波器作为一种典型的非线性滤波器得到广泛应用，它能够在滤除噪声的同时很好地保留边缘与细节特征，相比各向异性扩散等其他非线性方法，双边滤波具有简单、非迭代的特点［10］。双边滤波在平滑图像的同时通过对图像临近像素点的灰度值进行非线性组合，很好地保存了边缘信息。在此方法中，P（x，y）点的像素值被平均相似和相近点像素值代替，该方法在平行滤波平滑图像的同时很好的保存了图像边缘信息。正因为它能保存边缘特征，所以被广泛应用。加权平均值是用几何距离和范围差异计算出来的，以达到空间域上的近似值。

空间域滤波器表达式为：

公式中，f和h分别表示输入和输出自然多频带图，x表示中心像素点，ξ表示x的邻域点，空域滤波表征了信息的几何相似程度。低通滤波器的表达式为：

kr是常数，函数c（ξ，x）表示中心像素和邻近像素点的几何距离，函数f（x）表示值域滤波器，其表达式为：

中心像素点和附近像素点ξ之间的像素相似度由函数s（f（ξ），f（x））来衡量，因此，s为值域函数，c为空域函数。进一步规划常量可以表示为：

现在，综合空域滤波和值域滤波，得到：

进而结合空域滤波和值域滤波，得到能在平滑图像噪声的同时保留图像边缘的双边滤波算法：

2.2 使用双边滤波的多感图像融合

现在将讨论使用双边滤波多感图像融合算法工作的细节。为了得到带有丰富信息的融合图像，首先设定融合过程中只包含两个源图像，用A和B表示，整个融合过程描述如下：

2.2.1 平均双边滤波前向融合（ABFF）

首先用双边滤波对源图像A和B进行平滑，分别得到去噪后的红外图像和可见光图像。算法包括两个部分：第一部分是平滑图像并保留边缘；第二部分是对红外图像和可见光图像进行融合。而第一部分又包括以下步骤：

预先计算高斯距离权值：

这里x和y分别表示水平和垂直方向上的像素距离，σ是高斯分布偏差。将邻域内各像素的加权平均值作为邻域中心点，每一个像素点被赋予一个由附近像素点确定的加权平均值。最大的比重被放到原像素点，按照距离远近，较轻的比重被依次放在邻近像素点，越远的点越轻。

计算高斯强度权值：

使用定义域和值域滤波器得到双边滤波器输出。

第二部分，依据融合规则，红外图像和可见光图像融合后获得图像F。这里融合规则就是通过红外和可见光图像像素点的位置计算平均像素值的平均融合。

融合图像的目的就是通过融合互补信息找到原图像的重要特征。识别、比较、转移图像的重要特征，是图像融合的重要内容，如边缘和细节。因此，能够识别并突出表现出图像特征的方法是非常重要的。双边滤波和融合进行结合能够保存边缘，所以被用来识别图像细节特征，但是强烈的亮度变化可以导致双边滤波权值的剧烈变化，从而导致较大的计算误差。

2.2.2 平均双边滤波后向融合（ABBF）

这种方法是将第一种方法ABFF顺序倒置。首先，所有像素按照公式（9）执行完毕。所以，很明显滤波处理被放到了后面进行，融合后的图像依然被噪音干扰。然后，融合图像被按顺序操作：用PGD计算高斯距离权值、用ELRV提取局部特征、用GIV计算高斯强度权值和用GFR执行高斯滤波。最后，受噪声影响的融合图像转换成无噪融合图像。

2.2.3 条件双边滤波前向融合（CBFF）

上面的算法，可以根据不同应用在融合时设置条件规则来获取更好的效果。根据融合条件的变化，我们重构了算法，不再采用前面的平均融合算法。根据应用需求，条件融合可以执行最大选择和最小选择（MAX－CHOOSE MIN－CHOOSE）。首先，平滑部分可以在两幅图像中通过分别执行PGD计算高斯距离权值、执行ELRV提取局部特征、GIV计算高斯强度权值和GFR来实现高斯滤波。最后，含有噪声的融合图像被转化成没有噪声的融合图像。平滑处理过的图像又通过选择MAX－CHOOSE或者MIN－CHOOSE规则得到融合图像。

2.2.4 条件双边滤波后向融合（CBBF）

在CBBF算法里面，条件融合首先用于红外图像和可见光图像。依照融合规则，使用MAXCHOOSE方法或者MIN－CHOOSE方法完成融合源图像。融合图像能够获取高斯距离权值。特征值提取后，高斯强度权值和高斯滤波结果自然被算出。

多源图像用平均方法融合，这种方法比较常用，具体定义如下：

输入：N源图像，空域和值域标准差分别为σr和σd

输出：融合后图像AF

步骤1：读取带有噪声的红外图像和可见光图像

步骤2：提前计算高斯距离权值

尽管红外和可见光有不同的光谱带，显示不同的背景物体，但它们都可以显示背景图像的补充信息。因为可见光图像显示空间细节，而红外图像显示光谱细节，所以两种图像融合可以保证得到能够充分显示可见光图像中隐藏目标的完整信息。下面我们对可见光图像和红外图像用以上四种算法分别计算并比较。

3 实验结果和讨论

以下用多组多源图像作为输入信息，用来发现图像中的隐藏目标，并对整个过程进行认真安排和设计。4组多源图像用来实验，用以检测对比上述四种算法，对比它们处理后的实际效果。图像处理前后的评价指标如表1所示，表中给出了每幅图像处理前后的熵值，融合后图像的熵值必须比原图片要高，才能说明融合后的图像具有更多的信息量。熵值计算：

G－Gray levels；p（i）为灰度水平值为di的发生概率。标准差是另外一个用来测定比较融合前后图像质量的指标。高质量的图像必定有高的标准差：

L为直方图子块数，If为融合图像，hif为融合图像归一化直方图。这一关系用来找出像素带分布的中心值。这一关系改变的定义如下：

μf—输出，μr—源图像。

实验中采用了四对同源可见光和红外图像进行处理，首先，导入红外图像和可见光图像。首先对两幅被标以a和b（图1）的图像加入随机高斯噪声，而这一噪声是为获得双边滤波权限而加入的。在图1的第一行，人物在红外图像中很清晰，但在可见光图像中并未出现。c图到f图是分别用平均前向融合、平均后向融合、条件前向融合、条件后向融合四种算法处理的结果，而前两种算法的处理结果显然比后两种算法处理结果中的人物图像要更为模糊，光线很暗，那么区分图像的背景和前景就显得有些困难。表1是对这几种算法定量的评估结果，从表中可以看出，最好的计算结果是通过条件前向融合和条件后向融合算法获得的。条件前向融合算法可以分别得到熵值6.7110、均值0.3303、标准差0.1295的客观评价参数，稍次之的数据6.6798、0.3311、0.1293是由条件后向滤波算法得到的。因此，条件前向融合算法具有较好的融合效果。

表1 四种融合方法的客观评价

4 结束语

经过对平均前向融合、平均后向融合、条件前向融合、条件后向融合四种多源图像融合技术的对比研究，可以得出：它们都能够通过双边滤波融合红外图像和可见光图像，从而用于寻找图像中的隐藏目标。这也使从具有烟雾、低可见度、恶劣气候条件等复杂背景中找出隐藏目标变成了可能。图像融合从红外图像和可见光图像中提取的必要信息，为探测提供必要条件。四种图像融合算法中，条件双边前向融合算法可以得到理想的效果。在复杂光线条件下执行侦察、探测任务时，可以采用条件双边前向融合算法对任务地域现场获取的同源图像信息进行处理，以便获取顺利完成任务所必需的现场信息。

图1 算法效果

［1］R L Lagendijk，JBiemond，D EBoekee.Regularized iterative image restoration with ringing reduction［J］.IEEE Trans.Acoust.Speech，Signal Processing，1988，36（12）：1874－1887.

［2］万力，易昂，傅明.一种基于Canny算法的边缘提取改善方法［J］.计算技术与自动化，2003，22（1）：24－26.

［3］Broggi，P Cerri，S Ghidoni，P Grisleri，H Gi.A new approach to urban pedestrian detection for automatic braking［J］.IEEE Trans.Intell.Transp，2009：594－605.

［4］Zhang Qiang，Wang Long，Li Huijuan，et a1.Similaritybased multimodality image fusion wim shiftable complex directional pyramid［J］.Pattern Recognition Letters，2011，32（13）：1544－1553.

［5］Fleishman S，Drori I，Cohen－Or D.Bilateral mesh denoising［J］.ACM Transactions On Graphics.2003，22（3）：950－953.

［6］吴艳，刘重阳.一种新的像素级多聚焦图像融合算法［J］.电子与信息学报，2007，29（12）：2800－2804.

［7］Pham T Q，Van Vliet L J.Separable bilateral filtering for fast video preprocessing［C］.IEEE International Conference on Multimedia and Expo，2005：6－8.

［8］胡良梅，高隽，安良，等.基于D－S证据理论的模糊聚类图像融合分割［J］.合肥工业大学学报，2004，27（7）：721－724.

［9］Tomasi C，Manduchi R.Bilateral fltering for gray and color images［C］.Intematioual Conference On Computer Vision，1998：7－9.

［10］Elad M.On the origin of the bilateral filter and ways to improve it［J］.IEEE Transactions On Image Procession，2002，11（10）：1141－1151.

［11］Zhang Ming.Bilateral filter in image processing［D］.BatonRouge：Louisiana State University，2009.

Algorithm s of Image Enhancement Based on Fusion and Bilateral Filter

WU Yuan－sheng1，2，YANGWei－ping1，ZHANG Sheng－hui1，LV Yun－bo1
（1.College of Electronic Science and Engineering，National Defense Technology University，Changsha 410073，China；2.Diqing City Team，Yunnan Corps，The Armed Police，Diqing 674400，China）

This paper proposes an algorithm of image fusion for detecting the hidden targets in the visible light images.In order to smooth the edge of the image targetwhile detecting the hidden image，the bilateral filer is used to remove the noise and the image fusion is performed accordingly to get its integrated information.The edge of the image is degraded by the noise，and the typical bilateral filtering method is used to save the image and remove the noise，then bilateral filtering fusion is performed for the noise removed image.Combined with the two kinds of processing technology，four algorithms are used to verify the strong functions of the bilateral filtering and image fusion in the application ofmulti－source images.The algorithms，for detection performance for the body target hidden by the different factors，are tested.The experiments show that the algorithm can effectively improve the probability of detection or identification of the target from images background.

Bilateral filter；Image fusion；Object detection；Hidden objects

10.3969／j.issn.1002－2279.2014.06.015

TP391.4

：A

：1002－2279（2014）06－0050－05

武院生（1978－），男，山东省东明县人，工程硕士，主研方向：光学成像与自动目标识别技术。

2014－05－06