基于小波变换的EMCCD微光图像融合算法

陈 锋，张闻文，虞文俊，陈 钱，顾国华

基于小波变换的EMCCD微光图像融合算法

陈 锋，张闻文*，虞文俊，陈 钱，顾国华

（南京理工大学电子工程与光电技术学院，南京210094）

由于增益水平的不同，电子倍增电荷耦合器件图像所显现的图像内容不同，且图像动态范围极窄、对比度低、图像整体偏暗或模糊发白。为了提高微光图像动态范围及对比度，采用将不同增益水平的微光图像进行融合的算法，即先获取两组同场景但增益不同的微光图像，再对小波分解后的微光图像选择不同的融合规则，最后通过小波变换实现图像融合，得到了高质量的融合图像，并取得了融合图像的信息熵、标准差、平均梯度等性能指标数据。结果表明，该融合算法能使得融合后的图像同时包含低亮度景物和高亮度景物，达到了增大微光图像的动态范围及对比度的目的，有效改善了微光图像的质量。

图像处理；微光图像融合算法；小波变换；电子倍增电荷耦合器件倍增增益

引 言

电子倍增电荷耦合器件（electron multiplying charge coupled device，EMCCD）是近几年发展起来的一种微光成像器件，与普通CCD不同之处在于它的读出寄存器和输出放大器间放置了全固态倍增寄存器以实现输出电信号的增益放大。相比像增强型电荷耦合器件（intensified charge coupled device，ICCD）和电子轰击电荷耦合器件（electron bombardment charge coupled device，EBCCD）等夜视型CCD，其结构更紧凑、寿命更长。由于其高量子效率、灵敏度和信噪比等特性使其在低照度的微光成像领域具有很大的优势。目前虽然全世界已有数十家相机生产商能够提供EMCCD相机，但是核心技术主要掌握在E2V和TI公司手上。两家公司的产品也各有特色。TI公司的EMCCD芯片在曝光速度上更胜一筹。而E2V公司的EMCCD芯片在噪声控制上更有优势［1］。

目前国内外在微光图像处理方面的主要手段有直接对微光图像进行滤噪增强［2］以及将微光图像与红外图像等其它传感器图像进行图像融合［3］，其目的都是为了提升目标识别率及成像质量，并尽量使其满足人眼的观察需求。在微光图像滤噪增强方面，主要通过各种滤波算法进行图像处理，针对不同噪声选取不同的滤波方案。但由于微光图像的动态范围非常窄、图像对比度差、亮度低，因此单纯对微光图像本身进行处理往往达不到提升图像目标识别率的目的。另一个手段就是将微光图像与红外图像进行融合，通过两者融合来改善成像系统质量。该方法能有效提升图像的互信息，增加图像的信息容量。但由于不同传感器图像在光谱、灰度和分辨率等方面存在很多差异和局限，因此融合前需要对源图像进行配准处理，处理方法复杂。EMCCD具有增益大小可调节的优势，在设置好最佳工作模式后［4］，通过调节增益大小可以改善微光系统成像。但不同增益水平下，图像的表现各不相同，比如低增益图像的灰度集中在灰度值较小的区域，图像整体偏暗，对比度低；而高增益图像的灰度值集中在灰度值较大的区域，图像亮度高，增益增大后会使得图像饱和，从而使得图像整体发白模糊。微光图像的动态范围都很小，灰度分布过度集中且不均衡，当对不同增益的微光图像直接进行灰度拉伸时，不仅不能有效扩大动态范围，且直接处理后的效果会使得图像整体信息更不明显。因此，本文中基于EMCCD增益大小可调节特性，提出一种改进的小波变换融合算法，将不同增益水平的微光图像进行融合，该方法是直接将单一传感器下同场景不同增益的微光图像进行融合，因此不需要进行图像的配准设置，方法简便快捷，融合后的微光图像能同时显示低亮度和高亮度景物，图像动态范围、整体亮度及对比度都得到了提升，且能保留图像的边缘信息。

1 微光系统成像理论

1.1EMCCD成像过程

典型的帧转移型EMCCD由成像区、存储区、读出寄存器、倍增寄存器和输出寄存器五大部分组成［5］。

如图1所示，可以把EMCCD的工作过程概括如下：（1）在积分周期内，成像区将光子转化成电荷；（2）成像区电荷转移到存储区；（3）存储区电荷转移到读出寄存器；（4）读出寄存器电荷转移到倍增寄存器，并在其中使电子倍增；（5）倍增后的电荷通过低噪声读出放大器转换成电压输出。

Fig.1 EMCCD’s working process

1.2EMCCD的倍增增益

在微光条件下成像需要调节EMCCD的增益才能进行。EMCCD与普通CCD相比，其多了一组额外的像素读出寄存器，称为倍增寄存器。倍增寄存器的结构与读出寄存器类似，但是其中一相电极被一对电极取代，第1个电极加直流电压，第2个电极由高电压时钟驱动。如图2右半部分。这样两个电极间的电势差形成强电场，使转移到该电极下的信号电荷与硅晶格发生碰撞电离，激发出新电子，实现了信号电荷的倍增。

Fig.2 EMCCD’s read register and waveform of time sequence signal

图2中左边的电极属于传统寄存器结构部分，右边电极是倍增寄存器结构部分。在传统读出寄存器中H1，H2，H3是标准的时钟电极，由读出脉冲驱动，幅值约为10V。而在倍增寄存器中，H2电极被低直流偏压（low direct current bias voltage，LDCBV）电极HLDCBV和高压时钟电极（high voltage clock pole，HVCP）HHVCP取代，H1和H3仍然是标准时钟电极。在HLDCBV和HHVCP之间的两个电极之间存在强电场，当电信号输出到这里时发生电离碰撞，激发出新的电子空穴对，该过程在每一个增益级中反复，从而实现了信号电荷的倍增。

一般通过设置倍增寄存器的偏置电压来控制EMCCD的实际增益大小。实验中使用的EMCCD增益大小是通过一个8位的电子倍增数模转换器（digital to analog converter，DAC）来调节的。数模转换器的调节范围在0～255之间。其中0代表增益禁止，此时EMCCD相当于普通相机；当DAC值在1～255之间时，表示增益开放，每个数值对应一个实际增益值。因为实际倍增增益等于倍增寄存器的输出信号与输入信号的比值，在实验中先设定一个参考光强度，接着测定在增益禁止和增益开放时EMCCD的输出信号强度，再分别减去相应无光照时的背景图像信号强度，就能计算出EMCCD的实际增益G，设增益禁止时输出信号强度是Ioff，增益开放时每个DAC增益值x对应一个输出信号强度I（x），相应的无光照情况下增益禁止和增益开放时的图像信号强度分别为Boff和B（x），则实际增益G可表示为［6］：

式中，G是EMCCD的实际增益；Ioff是增益禁止时输出信号强度；I（x）为每个DAC增益值x对应的一个输出信号强度。

一般在无光照输入时采集的信号强度远小于正常光照的强度，所以Boff以及B（x）可以忽略不计，则（1）式可简化为下式：

1.3EMCCD微光成像系统实验装置

微光图像的采集过程如图3所示，其中核心器件是EMCCD。通过调节EMCCD的增益，来实现不同增益下的微光成像。

Fig.3 Low-light-level imaging system components

2 融合算法

图像融合是以图像信息形式来表达的一种数据融合形式，它是根据一定算法将不同传感器或者同一传感器在不同时间或不同参量设置下摄取的图像数据进行综合处理，最终得到1幅便于人眼或计算机分析的融合图像。其优势就是将各类图像数据的优点集合在融合后的图像中，从而为后续工作如图像识别、特征分析等提供便利［7］。目前最常用且发展最成熟的融合算法是像素级图像融合算法。像素级图像融合算法又分为空间域融合和频域融合。相比空间域融合算法，频域融合算法具有更好的细节描述能力，可以弥补空间域融合算法在细节表达能力上的不足。基于小波变换的融合算法属于频域图像融合算法中的一种，相比较空间域融合算法，其具有良好的空间方向选择性以及多分辨率分析的优势［8］。它是先对源图像在不同频率上进行多尺度分解，得到不同频率层的子图像，然后采用不同的融合规则对不同频率层上的子图像进行处理，最后进行重构得到最终的融合图像。基于小波变换的图像融合主要过程如图4所示［9］。

Fig.4 Wavelet transformation process

由于微光图像对比度低、灰度分布过于集中、动态范围窄的特点，应当先对微光图像进行灰度拉伸和滤波预处理后再进行图像融合。常用的预处理手段包括线性拉伸、直方图均衡、设计低通滤波进行滤噪处理［10-11］等。由于EMCCD在低增益时图像体现景物的整体范围，但边缘模糊、对比度低。高增益时图像的边缘细节明显，亮度高，但相应在低增益时清晰的区域因增益变大而模糊发白，且整体颗粒噪声点增多。因此，对低增益条件下获得的微光图像要进行灰度的线性拉伸，对高增益条件下的微光图像要进行滤波处理。灰度线性拉伸可采用最常用的直方图均衡，效果明显且实现快捷。EMCCD的图像噪声分布一般符合混合泊松-高斯分布，一般的空间域滤波器，比如均值滤波器、中值滤波器的效果不明显，采用维纳滤波器的滤噪效果较好，但细节保留能力不足。参考文献［11］中给出的一种基于小波半软阈值的滤波算法，其滤噪效果好、细节保留能力强，且图像滤波后的最小均方误差和峰值信噪比均优于中值滤波和维纳滤波。因此，采用该滤波算法对高增益下的微光图像进行滤波处理。在上述预处理过后再进行图像融合，可以达到较好的融合效果。关于小波变换融合算法，其主要过程是先对预处理过的源图像进行小波分解，图像将被分解成1个低频部分和3个不同尺度、不同方向的高频部分。图像中的大部分信息都包含在低频部分，高频部分主要是图像在不同尺度和不同方向上的细节特征信息。将一幅图像经过小波变换得到的高低频的小波系数，这些系数中绝对值较大的对应着图像中类似边缘一类的比较显著的特征信息，而分解后的尺度系数确定了图像的轮廓特征。同时在图像融合过程中，融合规则的选取直接关系到融合后的效果好坏。因此需要根据不同频率分层选取相应的融合规则。

本文中的算法流程如图5所示。

Fig.5 Algorithm flow diagram

算法的具体步骤为：（1）分别对低增益微光图像a和高增益微光图像b进行预处理，即进行灰度拉伸和滤波处理，得到预处理后的源图像A和源图像B；（2）对预处理后得到的源图像A和源图像B进行多尺度小波分解，分别得到一个低频系数fI（x，y）和3个不同尺度、不同方向的高频系数hi，I（x，y）。其中下标I＝A，B，分别表示预处理后的两幅图像A和图像B；下标i＝h，v，d分别表示水平、垂直和对角线3个方向；A图像的低频子带系数为fA（x，y），B图像的低频系数为fB（x，y），相应的高频子带系数为fi，A（x，y）和hi，B（x，y）；（3）针对不同的频率分层选取不同的融合规则［12-13］。

对低频子带的融合规则常采用的方法有比如选取当中一幅源图像经小波分解后的低频系数或者选取两幅源图像小波分解后的低频系数的均值。本文中选取后一种方法，即选取两幅图像的小波分解系数的平均值，计算公式如下：

式中，下标F代表融合图像F；fF（x，y）为融合图像F的最低频子带系数。

对高频子带的融合规则，选用局部区域标准偏差规则。选定的区域大小选3×3。具体的相应系数计算公式如下：

式中，下标F，A，B分别表示融合图像F以及预处理图像A和图像B；hi，F（x，y）为融合图像F对应的高频小波系数值，hi，A（x，y）为源图像A第i方向上高频子带点（x，y）位置上的高频系数值；hi，B（x，y）为源图像B第i方向上高频子带点（x，y）位置上的高频系数值；Di，A（x，y）表示源图像A第i方向上高频子带以（x，y）为中心的方差；Di，B（x，y）表示源图像B第i方向上高频子带以（x，y）为中心的方差。

其中区域方差的计算公式如下［14］：

式中，D为3×3区域内像素灰度方差；xm，n表示3× 3区域内（m，n）位置处的像素灰度值；x－是当前3×3区域内的像素灰度平均值。最后将求得的各高低频小波系数fF（x，y），hh，F（x，y），hv，F（x，y），hd，F（x，y）进行小波逆变换，得到重构出的融合图像F。

3 融合结果分析

为了验证本文中算法的正确性和有效性，分别选取两组在不同夜视照度下且增益大小不同的微光图像进行融合实验，并将本文中的融合算法与加权融合算法进行了比较。将图6～图9分为第1组，而将图10～图13分为第2组。其中，图6是增益为80的微光图片，图7是增益为210的微光图片，加权融合法图像如图8所示，本文中的算法融合后的图像见图9；图10是增益为50的微光图片，图11是增益为180的微光图片，加权融合法图像见图12，本文中的算法融合后的图像见图13。将两组各自的源图像与融合图像相比较，可以发现本文中的算法融合后的图像灰度分布均匀、动态范围扩大，图像看起来层次感更强，对比度也明显提升，且景物轮廓和边缘细节都得到了增强。下面是两组的具体对比情况。

Fig.6 Low-light-level image with 80 gain value

Fig.7 Low-light-level image with 210 gain value

Fig.8 The first group image of weighted fusion

Fig.9 The first group image using fusion algorithm of this article

Fig.10 Low-light-level image with 50 gain value

两组图像分别在不同的夜视光照条件下拍摄。在第1组中图6是低增益水平下的微光图像，图片中山坡上的树木只能看清大概的轮廓范围，边缘细节不清晰且整幅图像亮度低，对比度差。而图7是高增益水平下的微光图像，图像亮度高，山坡上的树木边缘清晰，但部分区域已因增益变高而发白，如图中汽车区域已由于过渡增益而模糊发白。基于本文中的算法融合后的图像如图9所示，图像不仅整体亮度变高、对比度提升，图像的动态范围也得到了扩大，且边缘细节信息也得到保留。相比加权融合法得到的图像（见图8），本文中的融合算法不会凸显图像的噪声，对图像灰度的差异性适应能力较强。第2组的情况也是这样。

Fig.11 Low-light-level image with 180 gain value

Fig.12 The second group image of weighted fusion

Fig.13 The second group image using fusion algorithm of this article

接着从信息熵、均值、标准差以及平均梯度进行了融合图像的质量评价［15］。信息熵是衡量图像信息丰富程度的一个重要指标，图像的信息熵越大，则表示融合图像所包含的信息越丰富，融合质量越好。均值是反应图像亮度的一个指标，均值越大，说明图像整体亮度越大。标准差反映图像像素数据的离散程度，标准差越大，图像就越清晰，反之，图像就越模糊。平均梯度反映图像灰度变化率的大小，用来衡量图像的相对清晰度。平均梯度越大，图像层次越多，因此图像也就越清晰。

下面是加权融合算法和本文中算法的融合指标数据。在表1中序号1和序号2是两组不同场景图的实验情况，分别列举了两组不同场景图像的融合数据，其中在序号1和序号2的fusion image一栏中，左右两个数据分别对应加权融合算法的指标数据和本文中融合算法的指标数据。

Table1 Comparison of image fusion indicators between weighted fusion and the algorithm of this article

通过上面的融合结果的演示以及融合参量对比，可以发现融合图像的各个数据指标均优于融合前的图像数据指标。对于加权融合法它比较快捷方便，但对图像中的噪声点比较敏感。它适合融合灰度差异较小的图像，对于灰度差异较大的图像融合时，会凸显图像的噪声，不利于进一步的目标识别。而本文中的基于小波变换的融合算法在分解级数较少时，融合速度较快，并具有更好的方向选择性和图像重构能力，且图像边缘信息能得到保留。

4 结 论

EMCCD微光图像在增益较低时图像对比度低、边缘模糊，只能看清景物的整体轮廓；而增益变高后图像的边缘细节明显，但部分区域因增益变大而模糊发白。针对微光图像在不同增益水平下的特点，对基于小波变换的图像融合算法做了提升改进，将不同增益水平的微光图像进行融合，实验结果表明，融合后的微光图像各参量指标得到了提升，图像既包含低亮度景物也包含高亮度景物，图像的整体亮度、对比度以及动态范围得到了扩大，达到了增强图像质量的目的。

［1］ ZHANG C L，CHEN Q，ZHOU B B.Recent progress toward ultrasensitivity EMCCD［J］.Infrared Technology，2007，29（4）：192-195（in Chinese）.

［2］ LIU Y，GAO X H.New algorithm for night vision image enhancement processing［J］.Infrared and Laser Engineering，2006，35（s4）：172-173（in Chinese）.

［3］ TIAN S.Key technologies of infrared and low-level-light image real-time fusion［D］.Nanjing：Nanjing University of Science and Technology，2010：15-34（in Chinese）.

［4］ ZHANGW W，CHEN Q.Optimum operation mode based on noise characteristics of electron multiplying CCD［J］.Optics and Precision Engineering，2008，16（10）：1977-1981（in Chinese）.

［5］ HAN L，XIONGP.The analysis of operating principle and performance of EMCCD［J］.Sensor World，2009，15（5）：24-28（in Chinese）.

［6］ LUO L.Research on EMCCD’s noise analysis and testing technology［D］.Nanjing：Nanjing University of Science and Technology，2010：28-34（in Chinese）.

［7］ LIU R R.Design and implementation of image fusion and enhancement processing system under low-light condition［D］.Beijing：Beijing Jiaotong University，2010：30-45（in Chinese）.

［8］ HU G，LIU Z，XU X P，et al.Research and recent development of image fusion at pixel level［J］.Application Research of Computers，2008，25（3）：650-655（in Chinese）.

［9］ FANW T.The research of image fusion technology based on wavelet transform［D］.Kaifeng：Henan University，2010：29-33（in Chinese）.

［10］ XUW C，HUANGW，LIY F，et al.Application of low-pass filtering and gray adjusting to image enhancement［J］.Laser＆Infrared，2012，42（4）：458-462（in Chinese）.

［11］ ZOU P.Research on EMCCD noise parameter estimation and filtering algorithm［D］.Nanjing：Nanjing University of Science and Technology，2012：36-42（in Chinese）.

［12］ TAO B J，WANG JR，XU JP.Study on image fusion based on different fusion rules of wavelet transform［J］.Infrared Technology，2006，28（7）：431-434（in Chinese）.

［13］ YUW J，GU G H，YANGW.Fusion algorithm of infrared polarization images based on wavelet transform［J］.Laser Technology，2013，37（3）：289-292（in Chinese）.

［14］ LIU B.The design and implementation of infrared and low-level-light image fusion night vision system based on wavelet［D］.Shanghai：Shanghai Jiaotong University，2008：32-38（in Chinese）.

［15］ WANG Y H，TAO Z X.Overview of quality evaluationmethods of fused infrared and visible images［J］.Infrared，2012，33（6）：7-10（in Chinese）.

Fusion algorithm of EMCCD’s low-light-level images based on wavelet transform

CHENFeng，ZHANG Wenwen，YU Wenjun，CHENQian，GUGuohua
（College of Electronic Engineering and Optoelectronic Technology，Nanjing University of Science and Technology，Nanjing 210094，China）

Because of different gain，the image content displayed by the electron multiplying charge coupled device（EMCCD）was different and the image had low contrast and narrow dynamic range.Meanwhile，the overall image was dark，fuzzy and whitish.An image fusion algorithm based on wavelet transform was put forward to apply into low-light-level images with different gain levels.Firstly，two groups of low-light-level images were acquired in the same scene with different gain level.Secondly，proper fusion rules were chosen based on low-light-level image’s characteristics after wavelet transform.Finally，the images were fused by wavelet transform，high quality fusion image and the performance data of fusion image，such as entropy，standard deviation，average gradient were obtained.Results show that the fusion algorithm based on wavelet transform can make the fusion image with both low and high brightness scenery and enlarge the image’s dynamic range and contrast.The image quality is effectively improved.

image processing；fusion algorithm of low-light-level image；wavelet transform；electron multiplying charge coupled device multiplication gain

TN911.73

A

10.7510／jgjs.issn.1001-3806.2014.02.003

1001-3806（2014）02-0155-06

核心电子器件、高端通用芯片及基础软件产品资助项目（2013ZX01005001）；武器装备预研基金资助项目（40405030202）；南京理工大学“紫金之星”基金资助项目；江苏省自然科学基金资助项目（BK20131354）

陈 锋（1988-），男，硕士研究生，主要研究方向为光电成像探测及图像处理。

*通讯联系人。E-mail：zhangww＠mail.njust.edu.cn

2013-07-04；

2013-07-17