数字图像融合研究综述

李桃 侯红英 王德贤 西华师范大学计算机学院

数字图像融合研究综述

李桃 侯红英 王德贤 西华师范大学计算机学院

本文首先了介绍了图像融合的定义、特点、应用状况，然后重点介绍了在基于PCNN模型的图像融合研究中存在的问题，接着阐述了图像融合技术取得的进步，最后指出了图像融合技术潜在的研究方向。

图像融合 应用情况 PCNN 研究方向

随着传感技术的飞速发展，人们获取的图像也越来越多，但是分析和处理这些图像的效率远远落后于图像数量增加的速率。图像融合技术提供了一种从一系列图像中整合冗余和补充信息的有效方法。

图像融合的目的是为了提高信息的可用性，从而得到更准确，更可靠的信息，对图像进行更全面的描述。

1 图像融合的定义

图像融合是将两个或多个源图像进行融合，以形成一个新的，更清晰、更可靠的图像，所得到的图像将比任何输入图像的信息量更丰富，也更适合于视觉感知或计算机处理。图像融合使用一定的算法，融合后将产生包含源图像最佳方面的图像。

图像融合可以分为两大类：估计融合和图像融合，并且随着应用领域的不同而有所差别。

图像的融合处理通常可以在三个层次上进行：像素级、特征级和决策级。

当源图像是从相同的传感器获取时，图像融合通常被称为多灶性的融合，多视角的融合，或多时相融合。多聚焦融合是指在不同长度焦点的情况下进行反复的融合图像。多视角的融合是指从不同的角度融合图像。多时相融合是指采取不同的时间来检测图像之间的变化或把未在预期时间内拍摄的对象合成逼真的图像。

当源图像（如可见光和红外线，CT和核磁共振，全色和多光谱卫星图像，这些图像都属于多模态图像）是从不同的传感器获取时，图像融合通常被称为多传感器融合。在医学成像中，它被用来融合CT、MRI或PET图像。同时，在遥感和天文学中，多传感器融合通过融合来源于两个传感器的图像来实现高空间和光谱分辨率。

2 图像融合的特点

（一）消除了不同传感器之间的数据冗余

（二）增强了图像数据的可靠性

（三）扩展了系统的覆盖范围

（四）保证系统在各种运行情况下的性能

（五）使探测性能变得更好

（六）容错性好，性能稳定

（七）降低了对单个传感器的性能要求

3 应用情况

由于融合后的图像整合了无法从单一来源图像获得的各种不同的信息数据，因此图像融合是一种分析和充分利用大容量源图像的有效的方法。图像融合在某些应用领域中扮演着重要的角色，例如医学治疗、摄影、遥感、军事、安全、监视、视频监控、计算机视觉等。

4 PCNN图像融合研究中存在的问题

近年来，图像融合的重要性新技术（如主成分分析，多尺度分析和各种变换方法）逐渐开始应用于图像融合。例如，采用多尺度分析方法可以取得良好的图像融合性能。作为一种新型的人工神经网络，脉冲耦合神经网络（PCNN）产生后不久便在图像融合中被应用起来。例如，布鲁萨尔和罗杰斯在1996首次在图像融合应用PCNN。随后，许多基于PCNN的图像融合算法被迅速的提出，越来越多的研究人员开始研究基于PCNN的图像融合。

PCNN是一个单层、二维，由若干个整合-激发神经元相连接的神经网络。这是一个无需任何训练的神经网络。PCNN具有发放脉冲同步、稳定性、波的形成与传播等特性，这是其他神经网络所没有的，由于PCNN的这些优势，它被广泛应用于数字图像处理中。

基于PCNN的图像融合在空间域和变换域中被得到了很好的应用。大多数PCNN方法是通过计算机程序仿真实现的。然而，很少有研究人员试图在硬件平台上设计和实现PCNN图像融合。

虽然近年来已经对PCNN模型做了大量研究，但目前的研究还存在许多问题。首先，PCNN有待进一步研究，许多潜在特征应该被更深入的探索，对PCNN的研究是提高其应用效果的关键。其次，我们更应该注意修改后的PCNN模型的合理性，也就是说，当我们打算修改PCNN模型，我们是否应该遵循一些规则？例如，哪一部分可以改变？哪一部分不能改变？但从现有的参考文献中，我们发现许多研究人员是根据自己的意愿来修改PCNN模型。研究者修改PCNN模型时，除了考虑良好的融合结果，还应该考虑到许多其他因素。最后，虽然近年来基于PCNN的图像融合框架已经基本保持稳定，然而，我们应该在未来探索更有效的框架。

5 图像融合取得的进步

我们已经在图像融合领域取得了许多重大的进展，如最佳融合规则、分布式融合和传感器管理。综合优化方法是一个很有前景的方法，它已被应用于最优分布式融合，它可以推广线性融合规则，为融合规则提供统一的框架，还为最优融合方法提供了一种替代方法。此外，信息融合也已被应用到其他应用程序，即卫星姿态估计与视觉目标跟踪。

6 图像融合潜在的研究方向

现在一些新的算法已经被应用在图像融合领域，如稀疏表示，小波家族体系和压缩感知。然而，一些实现高融合性能的方法需要大量的存储空间和计算时间。因此，未来潜在的研究方向可能是是减少计算复杂度或内存要求。更确切的说，未来人们的注意力会集中在如何保证图像融合效率和计算效率之间的平衡。

此外，图像融合也可以被看作是一个动态过程。应该注意的是，时间稳定性和一致性的问题仍然是一个具有挑战性的话题。此外，我们还没有从理论与实践的角度上探讨动态融合性能。

[1]尚政国.多分辨率分析及其在图像处理中的应用研究[D].哈尔滨：哈尔滨工程大学，2008:15-16

[2]王辉全.带钢多源图像融合方法的研究[D].沈阳：东北大学，2011:28-29

[3]ZhongLiang Jing，Han Pan，YanYuan Qin.Current progress of information fusion in China[J].Chin.Sci. Bull，2013，58(36): 4533-4540

[4]Zhaobin Wang，Shuai Wang，Ying Zhu，Yide Ma.Review of Image Fusion Based on Pulse-Coupled Neural Network[J].Archives of Computational Methods in Engineering，2016，23(4):659 671

[5]潘现甫.图像融合技术研究[D].北京：北京理工大学，2016:70-71

[6]姜志.基于PCNN和NSCT变换的图像融合算法[D].浙江：浙江理工大学，2014：21

西华师范大学国家级大学生创新创业项目；项目编号：201510638047。

李桃（1991—），男，汉族，四川简阳市人，学生，理学硕士，单位：西华师范大学计算机学院计算机应用技术专业，研究方向：图像处理。