基于JPEG压缩编码的小波域多图像融合算法研究

朱文艳，李 莹，袁 飞，冯少彤，聂守平

（南京师范大学江苏省光电技术重点实验室，南京210023）

基于JPEG压缩编码的小波域多图像融合算法研究

朱文艳，李 莹，袁 飞，冯少彤，聂守平*

（南京师范大学江苏省光电技术重点实验室，南京210023）

为了在一定的区域内融合多幅光学图像的信息，采用了一种基于联合图像专家小组（JPEG）图像压缩编码的小波域多幅图像融合算法。其基本思想是将小波逆变换看作是信息的融合过程，先对多幅图像进行JPEG压缩编码，压缩后得到一组二进制码流，这组二进制码流可以直接作为小波变换的分解系数，经小波逆变换后得到融合信息。结果表明，该算法能够实现多幅灰度图像和彩色图像的融合，提高了单一空间内图像的信息量，有利于多图像的存储和传输。

图像处理；图像融合；小波变换；二进制码流；图像压缩

引 言

图像融合是指将来源于不同信息源的多幅图像的有益信息加以综合和提取，融合后的图像比原始图像更清晰或者包含的信息量更多。例如，多焦点图像［1-2］经融合后要比任何一幅原始图像清晰得多，不同光谱图像［3-4］经融合后其信息量显著提高。目前，图像融合算法主要在图像变换域进行，该类算法的基本思路是先对待融合的多幅图像进行变换，得到一组变换系数，然后对这组系数按照一定的方法进行融合处理，最后经逆变换得到融合后的图像。常用的变换方法有金字塔变换［5］、Contourlet变换［6］和小波变换［7］方法。与单一来源图像相比，融合后的图像具有清晰度更高或者携带的信息量更丰富的优点，提高了对图像特征的分析能力，使得图像融合技术广泛应用于医学图像处理、自动目标识别、遥感以及军事应用等领域。

与之相对应的另一类图像融合是在单一存贮空间内融合更多的图像信息，其目的是减少图像在存贮、传输过程中的信息量，这就需要对待存贮或传输的信息进行数据压缩同时加以融合。GAN等人［8］利用离散余弦变换（discrete cosine transform，DCT）进行数据压缩，降低了后续融合的信息量，在小波域实现了信息的融合。本文中充分利用图像经过联合图像专家小组（joint photographic experts group，JPEG）压缩编码后生成的一串二进制码流，大大降低图像传输的数据量，而且根据码流的长度，就可以唯一重构原始图像。

本文中提出了一种基于JPEG图像压缩编码的小波域多图像融合算法，旨在将多幅图像的特征融合到1幅图像中，同时能够准确重构原始图像。首先将多幅图像分别进行JPEG图像压缩编码生成二进制码流。二进制码流相对于原图像而言，其数据量更少，因此在同样的存储空间内融合的信息量更大。而离散小波变换可以对图像进行多分辨率分析和时频分解［9-12］。图像经过2维离散小波变换分解之后，分别得到低频分量图像（LL）、水平高频分量图像（LH）、垂直高频分量图像（HL）和对角线高频分量图像（HH），这4个分量的融合又可以无失真地重现出原图像。利用小波变换的这一特点，可以将4幅图像经JPEG压缩编码后的二进制码流作为图像小波域的4个分量，经逆变换后得到一幅融合图像。在提取信息时根据每串二进制码流的长度即可重构出原图像。实验结果表明，本文中的算法能够有效地实现多幅图像的融合，而且实现了信息的不可见性，同时单一码流长度只能提取单一图像，有利于信息传输的针对性。

1 JPEG 压缩编码

JPEG图像压缩编码的基本原理图如图1所示，它具有较高的压缩比，是目前应用最广泛的压缩方法之一。

Fig.1 Codingmodel

由图1可知，JPEG算法的编码过程主要分为3个步骤：首先对原始图像进行分块DCT以消除图像的空间冗余；然后利用量化表对DCT系数进行量化；最后对量化后的DCT系数通过符号编码器进行哈夫曼编码，消除码字中的统计冗余，输出得到一串没有插入定界符的二进制码流，从而实现图像压缩。

Fig.2 Original image

如图2所示是原始图像，像素数为128×128。经过分块DCT变换、量化和编码后形成一串二进制码流，码流长度为5669bit，图3是二进制码流的矩阵示意图。

Fig.3 Compressed image

解码是编码的逆过程。将压缩后的二进制码流输入符号解码器，由于哈夫曼编码是一个瞬时的、唯一可解码的分组编码过程，因此不需要附加码即可恢复出每个子块的DCT系数，然后分别对其去归一化和逆DCT得到解压缩后的图像。

为此，可以用一串二进制码流替代原图像进行信息的传输，从而实现大容量图像信息的融合。

2 小波域多幅图像融合

离散小波变换（discrete wavelet transform，DWT）可以对图像进行时频分解，并且在时域和频域均有表征图像局部特征的能力。它主要通过对图像进行多分辨率分析，把图像在不同的方向与频带上分解成不同的子图。一幅图像在经过2维离散小波变换分解之后可以得到4个频率子图：低频近似子图和图像的水平、垂直以及对角线方向的3个高频细节子图。图4所示为灰度图像照片图，图5为图4进行小波变换后的结果，左上角为低频近似子图，它是对原图像的逼近。另外3个子图分别描绘了图像水平、垂直和对角线方向的高频细节。

Fig.4 Image of camera

Fig.5 One levelwavelet transform

小波变换的逆变换可以看作是低频信息与3个不同方向高频信息的融合过程。图5所示的4个频率子图在进行离散小波逆变换后可以重构出原始图像camera，这亦可以看作是多幅图像的信息相融合的过程。根据离散小波变换的这一特性，利用JPEG图像压缩，对1组图像进行编码，生成的1组二进制码流作为离散小波逆变换（inverse discrete wavelet transform，IDWT）的4个子带，从而实现多幅图像的融合。图6为本文中所提出算法的信息融合流程图。

Fig.6 Flowchart of information fusion process

如图6所示，首先将4幅图像分别经过JPEG压缩编码，得到对应的二进制码流，并将每一串码流的长度保存下来；然后将每一串二进制码流转换成大小相同的系数矩阵；最后将这4个系数矩阵作为小波变换的分解系数，经逆变换后得到一幅融合图像。

提取信息的过程如图7所示，将融合后的图像进行一层离散小波变换，得到4个系数矩阵，依次根据所提供的码流长度提取出4串二进制码流，最后通过二进制码流进行JPEG解码得到原始图像。

Fig.7 Flowchart of the information extraction process

由于不同图像经JPEG编码后所得到的二进制码流长度不同，一个码流长度只能提取对应的图像。因此本文中的算法可以将多幅图像融合在一起，并能同时发送给多个接收方，提供不同的二进制码流长度，各接收方所提取出来的信息也是不同的，能有效地保证信息传输的针对性。

3 实验结果

本文中采用峰值信噪比（peak signal-to-noise ratio，PSNR）和归一化互相关系数（normalized correlation coefficient，NC）对算法进行度量。对于灰度等级为256的灰度图像，其峰值信噪比r定义为：

归一化互相关系数σ定义为：

式中，M，N为图像大小，f0为原始图像，f为处理后的图像。

3.1 信息融合

实验中选取了一个3维目标，通过对其进行离面旋转，采集其中几幅反映不同空间姿态的系列2维图像，通过本文中的算法在单一存贮空间内实现3维目标空间信息的融合。采集4幅3维目标离面旋转0°，90°，180°和270°，并且像素大小为256× 256的图像作为原始图像，如图8所示。

Fig.8 Four images to be fused

对这4幅图像进行JPEG压缩编码生成4串二进制码流，然后将这4串二进制码流转换成大小为原图像25%的系数矩阵，最后将这4个系数矩阵作为小波变换的分解系数，经小波逆变换即可融合为1幅图像，结果如图9所示，其像素大小为256× 256，且看不出原图像的任何信息，实现了4幅反映3维目标不同空间位置特征的图像的信息融合。

Fig.9 Fused image 256×256

当然也可以对这4幅图像的二进制码流按顺序分解成长度为8bit的子串（不足8位时用0补齐），并把每一子串转化为十进制数，于是将每一串二进制码流转化成大小为43×43的系数矩阵，最后将这4个系数矩阵作为小波变换的4个分解系数，经小波逆变换后融合为一幅图像，如图10所示，其大小为86×86。

Fig.10 Fused image 86×86

图9 和图10表明，这两种方式都可以很好地实现多幅图像的信息融合，两者的区别仅仅在于存储空间的大小不同，其所包含的信息量是一样的。为此，可以根据不同的需求选取不同的方式进行图像的融合，从而充分节省传输信息的容量，有利于信息的传输。

3.2 信息提取

按图7所示的信息提取过程，对融合后的图像（见图9或者图10）进行小波变换，利用保存下来的二进制码流的长度，重构出的4幅图像如图11所示。

Fig.11 Reconstructed images

重构的4幅图像与其对应的原始图像的峰值信噪比及归一化互相关系数如表1所示。从表中可以看出，本文中所提出的算法能较好地再现4幅原始图像。

Table 1 PSNR and NC comparison between the reconstructed images and the original images

3.3 彩色图像的融合与提取

本文中对上述提出的融合算法进行了扩展，将其应用到彩色图像融合领域。由于对于图像信号来说，低频信息是对原始图像的逼近，反映了图像的轮廓、特征，因此是最重要的；而高频信息往往表示的是细节。如果除去高频部分，原始图像的基本形貌依然能够保留。如果将1幅彩色图像的R，G，B 3个分量图压缩后的二进制码流作为3个高频分量与1幅灰度图像经DWT后的低频分量，重复前面的融合过程，则可以实现将彩色图像的信息融合于灰度图像中，且在人眼视觉范围内融合后的图像依然能够保留原始灰度图像的基本形貌，但却扩大了原有存贮空间的信息容量。实验中，采用图12所示的Lena图像作为灰度图像，像素大小为256×256；采用图13所示的辣椒图像作为彩色图像，像素大小为128×128×3。

Fig.12 Image of Lena

Fig.13 Image of pepper

首先，提取出彩色图像的3个独立分量，对每个分量进行JPEG压缩编码后生成3串二进制码流，记录下每串二进制码流的长度以便信息提取时利用；其次，对灰度图像进行小波变换，得到低频细节分量图LL和3个高频细节分量图LH，HL和HH，在固定区域用彩色图像的R，G，B 3个分量压缩生成的二进制码流分别替换高频LH，HL，HH分量；最后经小波逆变换得到融合后图像，如图14所示。其与原灰度图像的峰值信噪比为31.8094，相关系数为0.9907。基本上保持了原始灰度图像的形貌，从图中完全看不出彩色图像的踪影。

Fig.14 The fused image of Lena

信息提取的过程是信息融合过程的逆过程。首先对融合后图像进行小波变换，利用二进制码流长度分别在高频LH分量、HL分量、HH分量中提取出二进制码流；然后根据JPEG压缩算法解码出R，G，B 3个分量图像；最后将3个分量图像进行组合重构出彩色图像，重构的彩色图像如图15所示。

Fig.15 The reconstructed image of pepper

重构彩色图像与原始彩色图像的3个独立分量图像之间的峰值信噪比和归一化互相关系数，如表2所示。

实验结果表明，该算法重构出的图像质量较好，与原始图像在视觉效果上差别不大，可以有效把彩色图像的信息融合到灰度图像中，且必须同时具备3个分量图像的码流长度，才可以重构出彩色图像，单一的码流长度只能重构单一分量图像。

Table 2 PSNR and NC comparison of three components for the reconstructed images and the original images

4 结 论

结合图像压缩算法和离散小波变换，提出了一种基于JPEG压缩编码的小波域多图像融合算法。此算法的核心是先将图像进行JPEG压缩编码，生成二进制码流，二进制码流经小波逆变换得到融合图像。融合后的图像根据二进制码流的长度可以有效地重构出原始图像，且单一码流长度只可重构单一图像，有利于针对性的信息传输。更重要的是，本算法可以扩展到彩色图像的融合领域，将一幅彩色图像的信息融合到灰度图像中。

［1］ BAIX Z.Image fusion through feature extraction by using sequentially combined toggle and top-hatbased contrastoperator［J］.Applied Optics，2012，51（31）：7566-7575.

［2］ CHEN Y，WANG L，SUN Z，et al.Fusion of colormicroscopic images based on bidimensional empiricalmode decomposition［J］.Optics Express，2010，18（21）：21757-21769.

［3］ SHAO Z F，LIU J，CHENG Q M.Fusion of infrared and visible images based on focus measure operators in the curvelet domain［J］.Applied Optics，2012，51（12）：1910-1921.

［4］ MA N，ZHOU ZM，ZHANGP，etal.A new variationalmodel for panchromatic and multispectral image fusion［J］.Acta Automatica Sinica，2013，39（2）：179-187（in Chinese）.

［5］ LIZH，WUH Z.Geometrically robust imagewatermark based on DWT and steerable pyramid［J］.Journal of Image and Graphics，2010，15（2）：211-219（in Chinese）.

［6］ JIN X，LIH H，SHIP L.SAR andmultispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled contourlet transform［J］.Journal of Image and Graphics，2012，17（9）：1188-1195（in Chinese）.

［7］ GAN T，FENG ST，NIE SP，et al.An image hiding and blind extraction algorithm based on block discretewavelet transform［J］.Acta Physica Sinica，2012，61（8）：084203（in Chinese）.

［8］ GAN T，FENG ST，NIE SP，etal.Image fusion algorithm based on block-DCT in wavelet domain［J］.Acta Physica Sinica，2011，60（11）：114205（in Chinese）.

［9］ SHUAIW J，FENG ST，NIE SP，etal.Sequence images hiding technique of three-dimensional object based on principal component analysis in wavelet domain［J］.Acta Physica Sinica，2011，60（3）：034203（in Chinese）.

［10］ WAN J，ZHANG X H，RAO JH.Application ofwavelet threshold de-noising in scattering optical wake flow signal processing［J］.Laser Technology，2011，35（4）：468-471（in Chinese）.

［11］ WEIH L，SHI JH，TZONG W K，et al.An efficient watermarkingmethod based on significant difference of wavelet coefficient quantization［J］.IEEE Transactions on Multimedia，2008，10（5）：746-756.

［12］ UNSER M，SAGE D，van de VILLE D.Multiresolution monogenic signal analysis using the Riesz-Laplace wavelet transform［J］.IEEE Transactions on Image Processing，2009，18（11）：2402-2418.

M ultiple image fusion algorithm in wavelet domain based on JPEG

ZHUWenyan，LIYing，YUAN Fei，FENG Shaotong，NIE Shouping
（Jiangsu Province Key Laboratory for Opto-electronic Technology，Nanjing Normal University，Nanjing 210023，China）

In order to fuse the information of multiple optical images in a certain area，an image fusion algorithm based on joint photographic experts group（JPEG）in wavelet domain was adopted.The main idea of the method was to regard the inversewavelet transform as information fusion process.Each source imagewas compressed into a group ofbinary code flow according to JPEG standard.Then the group of binary code flow was taken as the wavelet coefficients and the fused image was obtained by taking inverse wavelet transform.The results show that the algorithm can realize the fusion of multiple gray-scale images and color images，improve the amount of information in a single space and be conducive to multiple images storage and transmission.

image processing；image fusion；wavelet transform；binary code flow；image compression

TN919.81

A

10.7510／jgjs.issn.1001-3806.2014.03.031

1001-3806（2014）03-0425-06

朱文艳（1987-），女，硕士研究生，现主要研究方向为数字图像处理。

*通讯联系人。E-mail：njnukjc_nie＠163.com

2013-05-20；

2013-08-02