基于压缩感知理论的图像融合*

王 成，刘 坤，丁祖萍

（上海海事大学 信息工程学院，上海 201306）

0 引言

近年来信息技术的飞速发展使得人们对信息的需求量急剧增加，传统的以奈奎斯特采样定理为根本采样方法的模式极大地阻碍了人们对信息的获取。压缩感知理论[1-3]（Compressed Sensing，CS）是由 Donoho、Candes 和Romberg等人于2006年正式提出的一种新颖的数据采样理论。与此同时，Candes等人也为该理论的提出做了大量的基础研究工作。压缩感知的方法利用变换空间描述信号，并直接采集得到少数“非常重要”的线性观测数据，最后通过求解一个优化问题就可以从压缩观测获得的数据中恢复原始信号。

基于此，将压缩感知的观点引入到图像融合[4]可以有效解决图像融合中需要处理巨大数据量的问题。基于压缩感知方法的图像融合是将融合规则应用于经过压缩而产生的测量值，将源图像的主要信息提取出来进行融合得到融合图像。在压缩感知的整个过程中，观测矩阵的选择对于数据采样有着至关重要的影响。本文把压缩感知的方法应用到图像融合的过程中，着重研究了测量矩阵对融合图像质量的影响，并构造出一种适用于特定稀疏域的观测矩阵。实验结果表明，该方法取得了良好的融合效果。

1 压缩感知的基本理论

压缩感知是把一维信号 x∈RN×l在一组稀疏基 ψ={ψ1，…，ψN}下稀疏表示，即然后构造一个与ψ不相关的观测矩阵 ΦM×N对信号x进行一个压缩观测：y=Φx，由此得到M个线性观测 y∈RM。最后通过求解如下l1最小范数下的最优化问题，从y∈RM中恢复信号 x：

目前对式（1）的求解算法主要有匹配跟踪法[5]等。另外，为了保证算法的收敛性，压缩感知方法中选取的观测矩阵必须满足约束等距性[6]（Restricted Isometry Property，RIP）。参考文献[7]例举了部分满足 RIP条件的观测矩阵。

概括起来，CS理论主要涉及三个方面的内容：（1）对信号x∈RN，如何找到某个正交基或紧框架ψ，使其在ψ上的表示是稀疏的，即信号的稀疏表示；（2）如何构造一个与变换基ψ不相关的M×N维的观测矩阵[8-9]，保证稀疏向量α从N维降低到M维时重要的信息不遭破坏，即信号低速采样问题；（3）如何设计快速重建算法从线性观测中恢复信号，即信号重构问题。CS理论框架如图1所示。

图1 压缩感知（CS）理论框架图

2 压缩感知域内图像融合

基于压缩感知的图像融合算法的主要思想：首先对两幅图像进行稀疏化处理，对得到的数据利用观测矩阵压缩观测，然后确定融合规则进行数据融合，最后通过求解最优化问题，重构得到融合图像。

2.1 压缩感知域图像融合算法实现

本文融合规则采取一种改进的基于权重的方法，先对待融合数据进行简单的归一化操作，再根据图像压缩感知域数据能量大小的不同确定待融合数据应占权重，最后选取各数据权重值之和作为融合数据。基于压缩感知方法的图像融合框图如图2。

图2 基于压缩感知方法的图像融合框图

基于压缩感知图像融合算法步骤如下：

（1）取源图像A和B各像素点灰度值与该图像最大灰度值之比作为输入数据分别进行DCT变换，得到稀疏数据DCT_A和DCT_B；

（2）对稀疏数据利用观测矩阵 Φ进行观测，观测矩阵性能越好，则重建信号与原始信号的误差值越小，获得的重建信号质量越高。本文观测矩阵采取DCT域观测矩阵设计，获得CS域数据值T1和T2：

（3）对CS域数据采用改进的基于权重的方法进行融合，得到融合后的数据S。

改进的基于权重的融合方法框图如图3。

图3 改进的基于权重的融合方法框图

该方法首先计算出输入图像灰度均值Aij：

其中，M、N分别为源图像的长度与宽度，Dij为源图像灰度值。由式（2）分别计算出源图像数据能量大小，得到融合系数 C1、C2：

由此确定两组图像融合系数应占权重W：

所要求的融合后的数据即为：（4）运用最小全变分法[10]对融合数据 S进行重构，得到融合后图像。

2.2 DCT域观测矩阵的设计

基于图像经离散余弦变换后的大部分系数都变为0或近似于0，且图像主要信息集中在左上角这一特性，设计出一种适用于DCT域测量采样的射线采样矩阵，这种观测矩阵采样部分用数值1表示，被抛弃的数据用0表示。具体实现步骤如下：

（1）基本参数的设定：图像的大小 N×N，测量角度数M，像素自增步长 λ，界限距离 D，测量矩阵 Matrix初始化为一个N维零矩阵；

（2）角度循环：测量角度从0到 Pi均匀划分为 M份，第 i个测量角度记为 T（i），相应的斜率为 K=tanT（i）；

（3）像素循环：通过内外两个循环实现图像每一个测量角度和每一个像素点的遍历。其中，外循环控制矩阵行值 a，行值为 0～N，每次自增 λ；内循环控制矩阵列值 b，列值为 0～N，每次自增 λ。

（4）测量矩阵值的确定：通过判断图像像素点（a，b）到各个角度确定的直线y=Kx的距离d来设定测量矩阵每一个元素的值，其中：

若 d＞D，则 matrix（a，b）=0，若 d≤D，则 matrix（a，b）=1。

这里设定输入参数 N=256，M=220，λ=0.5，D=0.5，可以得到如图4所示的测量矩阵。矩阵代表数据1的白色部分为采样数据，所占面积表明采样数据约占整体数据的三分之一，且主要集中在图像左上角部分，很好地满足了DCT域有效信息主要集中在图像左上角部分的特性，因此该采样矩阵理论上能取得较好的采样效果。

图4 DCT射线采样矩阵

3 实验和结果分析

图5（a）和图5（b）为左聚焦与右聚焦 clock图像，图5（c）、（d）、（e）分别为 Gauss、Toeplitz和本文射线采样矩阵下的融合图像，图5（f）、（g）、（h）为射线采样矩阵下融合规则分别选取极小值、极大值和均值法的融合图像。表1是该组实验融合评价指标的对比。

图5 左聚焦与右聚焦图像融合实验结果

表1 左聚焦与右聚焦图像融合评价指标

主观视觉观察，本文方法获得的图5（e）在纹理和清晰度上都优于前两种方法获得的图5（c）和图5（d）。客观地从评价指标来看，表1的前三行数据显示，射线采样矩阵下获得的互信息最大，表示融合图像从源图像中获取了更为丰富的图像特征信息。在反应图像本身信息量的指标信息熵和峰值信噪比上，本文方法也取得了更好的效果。而在反应融合误差大小的指标上，本文方法获得的均方根误差值最小。比较射线采样矩阵下不同融合规则的实验结果，本文改进的基于权重的方法获得的图5（e）图像质量要高于另外三种方法获得的图5（f）、（g）、（h）。 对比表1 后四行数据，本文方法互信息、信息熵和峰值信噪比都相对较高，而均方根误差相对较低。基于此，本文的融合方法相对于极大、极小和均值法所取得的融合效果有显著提高，且本文提出的观测矩阵的设计方法是切实有效的。

为了验证算法的有效性，再选取一组红外与可见光图像进行融合实验。这一组实验中，图6（a）和图6（b）为红外与可见光 filed图像，图6 （c）、（d）、（e） 分别为Gauss、Toeplitz和射线采样矩阵下的融合图像，图6（f）、（g）、（h）为射线采样矩阵下融合规则分别选取极小值、极大值和均值法的融合图像。表2为该组实验融合评价指标的对比。

图6 可见光与红外图像融合实验结果

表2 可见光与红外图像融合评价指标

主观视觉上可以看出，本文方法相比其他几种方法能获得更清晰的融合图像，客观上评价指标也优于其他几种方法。因此该方法能保留原图像更为丰富的图像信息。两组实验结果充分验证了本文算法的可行性和有效性。上述实验结果也体现了压缩感知方法应用到图像融合领域的优越性，它在大大减少数据采样量的基础上仍能获得相对有效的融合效果。

4 结束语

压缩感知理论对图像处理领域具有重要意义。本文把压缩感知的方法运用到图像融合中，并着重探讨了观测矩阵对融合效果的影响。根据DCT域的稀疏特性设计出一种射线采样矩阵，实现了较少采样数据基础上良好的融合效果。实验结果表明该矩阵的设计使得融合效果在各个方面都有相应的改善。本文也通过实验得出，改进的基于权重的融合方法能提高融合质量。

[1]焦李成，杨淑媛，刘芳，等.压缩传感回顾与展望[J].电子学报，2011，39（7）：1651-1662.

[2]DONOHO D.Compressed sensing[J].IEEE Trans.Information Theory，2006，52（4）：1289-1306.

[3]CANDES E J.Compressive sampling[C].Proceedings of the InternationalCongress ofMathematicians，Spain，2006：1433-1452.

[4]李卫光，李跃，张修社.图像信息融合与识别[M].北京：电子工业出版社，2008.

[5]TROPP J，GILBERT A.Signal recovery from random measurements via orthogonal matching pursuit[J].Trans on Information Throry，2007，53（12）：4655-4666.

[6]LIN T，YU P.Adaptive two-pass median filter based on supportvectorMachinesforimage restoration [J].Neural Computation，2004，16（2）：5406-5425.

[7]TRZASKO J，MANDUCA A.Highly undersampled magnetic resonance image reconstructionvia homotopic ell-0 minimization[J].IEEE Transactions on Medical Imaging，2009，28（1）：106-121.

[8]潘汇，张劲东，张弓.压缩感知雷达感知矩阵优化[J].数据采集与处理，2012，27（2）：138-143.

[9]李小波.基于压缩感知的测量矩阵研究[D].北京：北京交通大学，2010.

[10]CANDES E，ROMBERG J，TAO T.Robust uncertaintyprinciples：exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory，2006，52（2）：489-509.