基于多小波提升格式的光学/被动毫米波图像融合

柳 菁, 聂建英

(福州大学数学与计算机科学学院， 福建 福州 350116)

基于多小波提升格式的光学/被动毫米波图像融合

柳 菁, 聂建英

(福州大学数学与计算机科学学院， 福建 福州 350116)

以安检中隐匿物品检测为应用背景， 提出一种结合多小波变换和提升小波变换的图像融合算法. 该方法首先对被动毫米波图和可见光图进行多小波预处理， 并通过提升小波正变换分别得到两类图像的高、 低频分量； 然后对变换得到的低频分量和高频分量分别采用不同的融合规则融合； 最后进行提升小波逆变换， 及多小波后处理得到融合图像. 实验仿真结果表明： 融合效果较好， 能实现对隐匿物品的快速识别.

光学图像； 被动毫米波图像； 提升小波； 多小波； 图像融合

0 引言

随着经济的发展和科技的进步， 越来越多的人选择乘坐航空、 地铁、 高铁出行. 随之而来的安检问题成了焦点. 相对于X光来说， 被动毫米波探测对人体没辐射伤害， 凭借小于手机信号的辐射， 毫米波探测安检可以显示隐匿的目标， 让任何危险品无所遁形， 但毫米波被动成像稍模糊. 可见光传感器具有极强的光线敏感度， 成像清晰， 但缺点是不能检测暗藏的危险物品. 考虑可见光/被动毫米波图像的融合技术， 可以扬长避短， 解决传统安检手段的健康隐患问题， 兼顾安检有效性与安全性.

1970年， 人们首次提出图像融合概念， 并应用于声纳探测系统. 它最早是以遥感探测为主， 后来人们对其进一步研究、 应用、 发展， 使其在各个领域都发挥了一定的作用. 近年来， 在像素级融合的基础上， Curvelet变换、 Shearlet变换等算法成为焦点. 文献[1]提出基于深度支撑值学习网络的遥感图像融合算法， 文献[2]提出LSWT和Curvelet变换结合的融合算法， 都是对算法的扩展， 具有融合的较好效果.

针对图像处理， 小波分析有着明显的局部化、 高分辨的优势， 有局部显微镜之称. 结合小波变换特点， 采用多小波变换方法. 多小波既有单小波良好时域的性质， 又具有对称性、 正交性、 短支撑性、 高阶消失矩等属性， 比一般的单小波在图像处理方面更具优势. 但是由于多小波计算复杂度高， 将加大对硬件和软件的阻碍， 所以可行的方案是结合提升小波， 实现快速运算. 本研究提出一种多小波提升格式图像融合算法， 该算法利用多个小波函数的特点， 完成图像的多尺度分解， 还能提高算法的优越性， 并且融合图像的细节信息更加准确. 实验结果表明： 可以更加有效清晰地显示旅客是否随身携带危险物品， 从而预防打击不法分子进行破坏活动.

1 多小波提升格式

1.1 多小波变换

其中

并且有多小波分解过程：

及多小波重构过程：

几个经典的多小波系统包括： GHM多小波、 系数正交对称且逼近阶为3的CL多小波、 Daubechies 正交多小波. 用GHM多小波对常见的Lena图像进行预处理和1级分解后， 各子带图像如图1， 大小与源图像相同， 数量为(3L+1)r2， 其中L为分解层数，r为多小波的重数[3-4].

图1 Leana图像及其子带图像Fig.1 Lena image and the sub-band images

1.2 提升小波变换

提升小波又称为第二代小波变换[5-6]， 提升方法包括三个步骤， 即对信号实施分解(split)、 预测(predict)和更新(update). 提升小波结构简单， 可以克服之前传统小波需利用Fourier变换的特点， 极大提高了运算速度， 具体实现流程图如图2所示.

图2 提升静态小波分解和重构Fig.2 Diagram of lifting stationary wavelet decomposition and reconstruction

2 基于多小波提升格式融合算法

结合多小波变换和提升小波变换[7-9]， 提出多小波提升方法， 具体的变化过程如图3所示.

取两幅源图像进行预处理后， 进行奇偶分割， 作提升变换， 实现本文的融合算法， 融合流程图如图4所示. 融合具体步骤如下：

1) 对毫米波图像与可见光图像进行多小波预处理以及提升小波正变换得到高频和低频系数；

2) 对第一步中的高低频系数采用两种规则进行处理， 得到一组高低频系数并进行提升小波逆变换；

3) 进行多小波后处理， 得到最后所需的图像结果.

图3 多小波提升方法简略示意图Fig.3 Multiwavelet lifting scheme schematic diagram

图4 融合算法流程图Fig.4 Flowchart of the fusion algorithm

2.1 低频系数的融合规则

算法中第一步由多小波提升方法得到的低频子带系数， 包含原图像滤掉细节后的近似部分. 为了不失去图像的一些细节， 本文采用的算法是改进的拉普拉斯算子(SML算子).

其中：CF(i，j)代表算法第2步中所得到的低频成分；CA(i，j)与CB(i，j)分别代表算法第1步中分解出来的两种不同图的低频成分.

式中：M，N为领域大小(本文选取为3×3)；f(x，y)为(x，y)处的像素值； SML(i，j)为(x，y)处的拉普拉斯能量和.

2.2 高频系数的融合规则

一幅图像高频分量则是图像的细节， 包含原图的边缘和纹理信息. 这里采用方法是局部区域方差和区域能量相结合的方法.

相关系数定义为：

其中:LF(i，j)代表算法第2步所得到的高频成分；LA(i，j)与LB(i，j)分别代表算法第1步中分解出来的两种不同图的高频成分.

3 实验结果与分析

按照上述算法， 进行仿真实验， 并将本算法与其他几种方法进行比较， 来验证本算法的优越性. 实验所用源图像及由几种不同方法得到的融合图像如图5所示. 方法1和方法2分别采用多小波变换、 LSWT变换进行图像多尺度变换图像融合得到的结果. 方法3采用Shearlet变换后， 高频采用CS处理. 方法4是采用DWT+LSWT变换进行图像融合， 高低频采用与本文相同的融合规则. 从图5中可看出， 在低频子带采用取平均的融合规则最后所得的融合图像结果并不理想， 不能够有效显示全部信息. 采用改进的拉普拉斯算子可保留更多源图像信息， 在视觉效果上图5(g)优势明显. 比较图5(e)、 5(f)和5(g)可知， 多小波在图像上具有更为良好的性质， 轮廓细节更为清楚. 而图5(g)中背景细节消失原因在于融合具有一定的去噪结果， 由于第二幅图像的背景是白的， 第一幅图像的背景细节相对于有危险品的细节过细， 所以融合之后背景细节就被模糊了. 本文方法可以有效控制背景中过细细节的影响， 使目标细节不丢失.

图5 源图像及其融合图像Fig.5 Source images and the fused images

为进一步验证本章节所提出的算法是否具有普遍性和可操作性， 接着进行第二组仿真实验， 图像融合结果如图6所示.

除主观评价外， 在客观评价方面， 采取几个常用的指标对几种不同方法得到的图像融合结果分别进行评价. 这几种评价指标分别为平均梯度(AG)、 信息熵(IE)、 空间频率(SF)以及互信息(MI). 其中平均梯度代表了图像的相对清晰程度； 信息熵反映的是图像包含的信息量； 空间频率反映图像空间域的变化剧烈程度； 互信息反映源图像和融合图像间相关性. 理论上来说， 4个客观评价指标数值越大， 代表图像质量越好. 上文中的两次仿真实验得到融合图像计算出的指标数值结果如表1所示. 显然易见， 最后一行客观评价指标数值较大， 说明使用多小波提升变换其图像质量更好.

表1 五种融合算法得到的客观评价指标Tab.1 Objective evaluation index of five fusion methods

4 结语

针对安检中被动毫米波探测能力强， 但图像低分辨率的问题， 考虑到光学图像高分辨率的特点， 提出一种结合多小波变换和提升小波变换的图像融合算法. 多小波既有良好时域性质， 又具有对称性、 正交性、 短支撑性、 高阶消失矩等属性， 结合提升小波快速运算特性， 能够较好地提高图像可视性. 为验证算法的可行性和有效性， 进行两组仿真实验， 将算法得到的融合图像与其它算法进行主观评价和客观评价两方面的比较分析. 结果表明， 本算法可以更加有效清晰地显示旅客是否随身携带危险物品， 具有一定的实际应用价值.

[1] 李红， 刘芳， 杨淑媛， 等. 基于深度支撑值学习网络的遥感图像融合[J]. 计算机学报， 2016， 39(8)： 1 583-1 596.

[2] 王丽， 苗凤娟， 陶佰睿. 结合Curvelet变换和LSWT的多聚焦图像融合算法[J]. 计算机工程与科学， 2015， 37(6): 1 203-1 207.

[3] NAZARAHARI M， GHORBANPOUR NAMIN S， DAVAIE MARKAZI A H，etal. A multi-wavelet optimization approach using similarity measures for electrocardiogram signal classification[J]. Biomedical Signal Processing and Control， 2015， 20： 142-151.

[4] 何伏春， 聂建英. 基于多小波包的红外/被动毫米波图像融合[J]. 电光与控制， 2015， 22(6): 11-16.

[5] SWELDENS W. The lifting scheme: a construction of second generation wavelets[J].SIAM Journal on Mathematical Analysis， 1998， 29(2): 511-546.

[6] 蒋薇薇， 鲁昌华， 张玉钧， 等. 基于提升小波改进阈值的光谱信号去噪研究[J]. 电子测量与仪器学报， 2014， 28(12): 1 363-1 368.

[7] 方志军， 高永彬， 舒雷， 等. 基于D9/7小波变换的自适应方向提升多小波算法[J]. 激光与光电子学进展， 2012， 49(7): 85-90.

[8] 叶银芳， 聂建英. 基于多分辨分析的红外/被动毫米波图像主成分融合[J]. 电光与控制， 2013， 20(9): 6-9.

[9] 郭茂耘， 李华锋， 柴毅. 提升静态小波与自适应PCNN相结合的图像融合算法[J]. 光电工程， 2010， 37(12): 67-74.

Fusionofvisual/PMMWimagebasedonmulti-waveletliftingscheme

LIU Jing, NIE Jianying

(College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China)

Put forward a method used in security check to deal with image fusion of visual image and PMMW image, basing on multi-wavelet transform and transform of lifting scheme. First, the passive millimeter-wave image and visible image are pretreated with multiwavelet, and the high and low frequency components of each image are obtained by the wavelet transform of lifting scheme. Then, the low-frequency components and the high frequency components of the transformation are fused by different fusion rules. Finally, get a new fusion image by the wavelet inverse transform and multi-wavelet reprocessing. The experiment results show that the method is effective, and the rapid recognition of hidden objects can be realized.

visual image; PMMW image; lifting wavelet; multiwavelet; image fusion

10.7631/issn.1000-2243.2017.05.0641

1000-2243(2017)05-0641-05

TN015

A

2016-03-18

聂建英(1958-)， 教授， 主要从事小波分析及光波、 毫米波复合探测技术研究， niejy@fzu.edu.cn

江苏省资源环境信息工程重点实验室基金资助(JS201104)

(责任编辑： 蒋培玉)