两类基于PCNN的图像融合算法综述

贾紫婷

摘  要： 随着计算机技术的高速发展，基于PCNN（脉冲耦合神经网络）的图像融合算法越来越多样化。针对用PCNN进行图像融合时找不到落脚点的问题，提出了两类常用的融合算法，分别是基于PCNN与多尺度变换相结合、减少PCNN计算复杂度的融合算法。文章对这两类算法进行了分析与总结，列举了这两类方法可以改进的具体方向，为接下来的创新工作指明了方向，并对未来的研究方向进行了展望。

关键词： 脉冲耦合神经网络; 图像融合; 多尺度变换; 计算复杂度

中图分类号：TP391          文献标识码：A     文章编号：1006-8228（2020）06-01-04

Abstract： With the rapid development of computer technology， image fusion algorithms based on PCNN （Pulse Coupled Neural Network） are becoming more and more diversified. Aiming at the problem that a foothold and starting point is hard to be found when using PCNN based image fusion algorithm， two types of common fusion algorithms are proposed， and they are the algorithm combined PCNN with multi-scale transformation and the algorithm reduced the computational complexity of PCNN respectively. These two types of algorithms are analyzed and summarized in this paper， and the specific directions that these two types of methods can be improved are listed， which points out the direction for the following innovation work and looks forward to the future research direction.

Key words： Pulse Coupled Neural Network; image fusion; multi-scale transformation; computational complexity

0 引言

随着网络技术的日益更新，大众的生活、生产水平都步入了新台阶，跨入了新阶段。近几年，在计算机技术和微电子技术为主的信息技术高速发展的大背景下，以采集和传输图像信息为目的的传感器系统逐渐成为人们关注的焦点[1]。因此传感器在各个方面都得到了广泛的应用，特别是军事和民用方面。

传感器的大量面世，大大促进了数据信息收集工作的进度，但是不同类型的传感器性能不同，采集到的信息也各有差异。

假设用多种不同类型的传感器收集同一副图片的信息，收集到的结果可能存在一些相似部分和不同部分，而这些不同部分可以相互补充，从而更详尽的表达这幅图像的信息。接下来的问题就是如何适当的除去相似部分，有效的保留互补部分，这正是信息融合技术研究的内容。

信息融合这个概念在20世纪70年代就出现过，20世纪90年代被正式提出。其中多源图像融合是信息融合技术的一个重要分支。多源图像融合的最终目标是使融合后的图像获取最大限度源图像的互补信息，消除重复部分，从而得到更完整、准确的源图像的信息。多源图像融合算法的基本思想是通过设计一种较优的融合算法，使融合出來的新图像能尽可能的利用源图像互补信息，减少冗余，从而获得对某一场景或目标更加全面、精准的理解。融合后图像的优势在于可以消除单一源图像在信息表达上的局限性，为后续的图像处理提供更为完整、准确的图像信息。

目前多源图像融合主要涵盖以下几个方面：多聚焦图像融合、遥感图像融合、红外与可见光图像融合、雷达图像融合及医学图像融合等。多源图像融合涉及到多领域，包括军事领域和民用领域，如智能机器人[2]、交通管理[3]、遥感[4]、医学诊断[5]及视频监控[6]等。

1 图像融合算法

为了得到尽可能优的融合图像，广大学者致力于研究图像融合算法。目前图像融合算法主要在三个层次上开展，分别是像素级、特征级和决策级。

1.1 像素级图像融合

像素级图像融合在融合层次上属于最底层的融合方法，该方法是直接对原始图像数据进行操作。这种融合方式能够将目标图像进行更为准确、全面和可靠的融合。像素级图像融合结果和后两个层次相比包含的细节信息更多，能使观察者更好的对图像进行分析和理解。目前像素级图像融合方式应用范围最广，也为特征级和决策级融合奠定了扎实的基础。基于像素级的融合算法又分为空间域和变换域。其中空间域的融合方法有加权平均法和主成份分析法等。变换域的融合方法主要有基于多尺度分解的方法等。

1.2 特征级图像融合

特征级图像融合在融合层次上属于中间层次的融合。这种融合方式的原理是先从源图像中提取有用特征，再对提取到的特征进行综合分析和处理，在保证融合所需信息的前提下，对输入信息进行筛选，这样不但对信息量进行了有效的压缩，而且大大提高了融合速度。特征级图像融合包含聚类分析法、神经网络法、信息熵法等。

1.3 决策级图像融合

决策级图像融合在融合层次上属于最高层次的融合。这种融合方式的原理是：首先对源图像进行预处理及特征提取和分类，在这基础上获得对同一目标的初步判决结论，再对初步决策进行融合处理，得到最终的联合判决。决策级图像融合的缺点是：图像预处理代价高，利用源图像的初步判决结论进行最终的联合判决，会造成原始图像信息的严重丢失。

图像融合算法基于以上的三种层次各有优缺点，这三类算法不仅能够独立的进行融合，而且可以相互结合进行融合，前一级融合的结果可以作为后一级融合的输入信息。在实际应用中，要根据对融合图像的具体要求选择恰当的融合方式，以获得最佳的融合效果。

2 基于PCNN的图像融合方法

如今人们对图像融合方法的研究集中在像素级和特征级上，研究者使用最多的就是基于脉冲耦合神经网络（Pulse Coupled Neural Networks，PCNN）的融合方法。

通过查阅大量文献资料，了解了近期学者们基于PCNN图像融合技术的研究进展。其中，宋斌等人使用稀疏表示与Dual-PCNN相结合来融合图像[7];Li M，Cai W等将清晰度作为融合时不同图像块系数的权重，结果表示，对于正在移动的物体，或者是没有得到精确配准的源图像，融合效果相当不错[8];王艳等[9]将非下采样Contourlet和自适应PCNN相结合来融合图像;2005年Li W，Zhu XF等[10]人，首次将PCNN与小波包结合起来进行融合图像;Miao QG，Wang BS等[11]人将PCNN用于多聚焦图像融合，为了使β值实现自适应设置，使用像素的清晰度作为PCNN的连接强度，通过对比待融合区域的锐度来融合图像。同年，Miao QG等[12]人又发表了将像素的对比度作为PCNN的连接强度进行图像融合的文章。结果证明，这种算法效果较好;文献[13]中作者对PCNN中的参数进行了自适应设置完成了图像融合;Qu XB，Yan JW等人提出了区域点火强度（Regional Firing Intensity，RFI）的概念，并将之应用到PCNN模型中，通过RFI的大小来选取离散小波变换后得到的系数[14];Wang ZB等[15]首次提出了一种双通道PCNN模型，该方法显著地提高了融合后图像的质量;文献[16]研究了Contourlet变换与PCNN相结合的融合方法;文献[17]中使用图像块的拉普拉斯能量来表示PCNN的外部刺激从而实现参数的自适应;文献[18]将非下采样Contourlet变换和PCNN相结合来融合孔径雷达图像。

由于PCNN具有全局耦合性，可以使融合图像从源图像中充分地提取出图像特征，以尽可能减少两幅图像之间的差异，所以很多学者应用PCNN进行图像融合。如今，学者们基于PCNN图像融合方法的研究较多的专注于以下两类。

2.1 基于PCNN与多尺度变换相结合的融合方法

第一类，将PCNN与多尺度变换相结合来进行融合。近期，多尺度分解技术成为研究热点，大多数学者将PCNN与各种多尺度分解技术相结合来融合图像。如：文献[19]中将NSCT（Non-subsampled Contourlet Transform，非下采样轮廓波变换）与PCNN相结合来融合图像;文献[20]研究了PCNN和小波变换相结合的融合算法;此外，文献[21]中将Shearlet变换与PCNN相结合融合图像。

在多尺度变换中首先被提出的是金字塔变换，但是基于金字塔法的融合效果并不理想。由于金字塔分解后各分解层之间具有相关性，而且金字塔分解后的信息是冗余的，这严重影响了融合效果;这时，小波变换渐渐盛行起來，因此其代替了金字塔变换被应用到图像融合中。小波变换能够通过伸缩和平移对图像进行多尺度分解，其具有较好的空频局域性。之所以会代替金字塔变换，是因为小波分解不仅是非冗余的而且具有方向性，应用到图像融合中效果可观。但随着时间的推移，小波变换的缺陷也逐渐暴露出来，二维离散小波仅能将图像分解成三个方向的高通子带，忽略了其他方向的信息;近年来，随着曲波变换和轮廓波变换的提出，这两种变换也在图像融合领域取得了不错的效果。曲波变换在小波变换的基础上对图像在很多方向上展开分解，但其引入了下采样操作，导致伪吉布斯现象的产生;非下采样轮廓波变换继承了轮廓波变换的多尺度、多方向以及良好的空域和频域局部特性，遗弃了轮廓波变换中的下采样操作。NSCT的出现大大缩小了伪吉布斯现象出现的概率，能够更好的表示图像的细节，但该方法计算起来较为繁琐;非下采样剪切波变换（Non-subsampled Shearlet Transform，NSST）具有更高的方向灵敏度和较低的计算复杂度，这些优点使得其更适用于图像处理。近期，一些新的变换也被提出来，致力于研究改进的多尺度变换是一个创新的要点。

2.2 减少PCNN计算复杂度的融合方法

另一类，图像融合算法主要研究方向是怎样可以尽可能地减少PCNN的计算复杂度，这类课题一般分为两种，一种是改进PCNN模型中参数的设置方式，尽可能使参数的设置实现自适应，另一种是简化PCNN模型。

以PCNN模型中参数的自适应化来说，PCNN现有理论不能较好地解释该模型中参数怎么样设置将会导致什么样的应用效果，且PCNN中参数较为繁多，传统的方法是参数要依靠人工设置并按照实验效果一直调整，调参工作十分繁琐。于是该模型中参数的自适应性成为许多学者的研究对象。参数自适应化的研究方向大致分为两种，一种是重要参数自适应化例如连接强度，另一种是网络迭代次数的自适应化。如：Randy Paul Broussard等使用梯度下降法将参数自适化[22];马义德教授等将PCNN与遗传算法相结合来使参数得到自适应[23];张志宏等人引入了信息曲线，优化了衰减系数[24];由于PCNN模型对亮度、对比度敏感的特性，马义德等利用误差反向传播学习准则使PCNN得到自适应，从而减少亮度、对比度对图像识别精度的影响[25];苗启广等人提出了一种自适应PCNN的融合算法，该方法得到的融合结果更加符合人眼的视觉特性[26];李美丽、李言俊等人针对以往基于脉冲偶合神经网络的融合算法中每个神经元的连接强度都是取相同常数这一问题，分别利用像素的标准差和拉普拉斯能量特征作为对应神经元的连接强度来实现PCNN的自适应[27];赵峙江等人引用灰度信息量直方图，使得PCNN中衰减参数实现自适应[28];针对PCNN模型中参数的设置仍需要依靠经验和手工这一问题，在文献[29]中，于江波等人制定了PCNN模型中各参数确定的准则，将按照这些准则设置参数的PCNN模型应用到眼底图像处理中，处理效果可以和人工选取参数相比拟，鲁棒性较强。对于PCNN中网络迭代次数的自适应化，其目的就是让系统自动确定迭代多少次，而不是依靠人工设定。就目前来说，使迭代次数实现自适应化这类算法中较为突出的理论性研究成果较少。

另一類是对PCNN模型的简化改进研究。由于PCNN模型中需要进行多次卷积操作，而且其拥有非线性的网络和并行的特性，所以PCNN的运行效率并不高，因此对该模型进行简化改进至关重要。目前基于PCNN的简化模型主要有交叉皮层模型（Intersecting Cortical Model， ICM）、脉冲发放皮层模型（Spiking Cortical Model，SCM）模型和连接突触计算网络（Linking Synaptic Computation Network，LSCN）模型。

对于以上两类的算法可以单独进行融合，也可以互相结合进行计算。

3 结束语

本文在查阅了大量中英文参考文献后，总结概括了图像融合的三个层次，详尽列举了近期发表的关于图像融合的算法。总结出了可以从两个方向对基于PCNN图像融合进行改进。分别是基于PCNN与多尺度变换相结合，和减少PCNN计算复杂度，其中减少PCNN计算复杂度又可以从两方面入手，分别是使PCNN模型中参数实现自适应，其中包括该模型中的关键参数与迭代次数，和简化PCNN模型提出新模型。

对于本文提出了两个方向，接下来需要对它们进行深入研究，寻找每个方向的创新点，从而得出较优的融合图像。

参考文献（References）：

[1] L. Wald. Some terms of reference in data fusion[J]. IEEE Transactions on  Geoscience and Remote Sensing，1999.37（3）：1190-1193

[2] M. Nada. Sensors and data fusion[M]. Vienna， Austria，2009：1-490

[3] D. J. Mirota， M. Ishii， G. D. Hager. Vision-based navigation in image-guided interventions[J]. Annual Review of Biomedical Engineering，2011.13：297-319

[4] B. Luo. Decision-based fusion for pansharpening ofremote sensing images[J]. IEEE Geoscience and Remote Sensing Letters，2013.10： 19-23

[5] Z. B. Wang， Y. D. Ma. Medical image fusion usingm-PCNN[J]. Information Fusion，2008.9：176-185

[6] D.  M.  Tsai，  S.  C.  Lai.  Independent  component analysis-based  background  subtraction  for indoor surveillance[J]. IEEE Transactions on Image Processing，2009.18（1）：158-167

[7] 宋斌，吴乐华，唐晓杰等.采用DCT稀疏表示与Dual-PCNN的图像融合算法[J].红外技术，2015.4：283-288

[8] Li M， Cai W， Tan Z. Pulse coupled neural network based image fusion[J].ADVANCES IN NEURAL NETWORKS-ISNN 2005，PT 2，PROCEEDINGS，2005.3497：741-746

[9] 王艳，杨艳春，党建武等.非下采样Contourlet变换域内结合 模糊逻辑和自适应脉冲耦合神经网络的图像融合[J].激光与光电子学进展，2019.56（10）.

[10] Li W， Zhu X F. A new image fusion algorithm based on wavelet packet analysis and PCNN[C]//International Conference on Machine Learning and Cybernetics. IEEE，2005.9：5297-5301

[11] Miao Q. A novel adaptive multi-focus image fusion algorithm based on PCNN and sharpness[J]. Proceedings of SPIE-The International Society for Optical Engineering，2005.5778：704-712

[12] Miao Q， Wang B. A Novel Image Fusion Algorithm based on PCNN and Contrast[C]// International Conference on Communications，Circuits and Systems Proceedings. IEEE，2006：543-547

[13] Li M， Cai W， Tan Z. A region-based multi-sensor image fusion scheme using pulse-coupled neural network[J]. Pattern Recognition Letters，2006.27（16）：1948-1956

[14] Qu X， Yan J， et al. Multi-focus Image Fusion Algorithm Based on Regional Firing Characteristic of Pulse Coupled Neural Networks[D].IEEE，2009.

[15] Wang Z， Ma Y. Dual-channel PCNN and Its Application in the Field of Image Fusion[C]// International Conference on Natural Computation. IEEE，2007：755-759

[16] Liu S P， Fang Y. Infrared image fusion algorithm based on contourlet transform and improved pulse coupled neural network[J].Journal of Infrared & Millimeter Waves，2007.26（3）：217-221

[17] Huang W， Jing Z. Multi-focus image fusion using pulse coupled neural network[J].Pattern Recognition Letters，2007.28（9）：1123-1132

[18] Min W， Peng D， Yang S. Fusion of Multi-band SAR Images Based on Nonsubsampled Contourlet and PCNN[C]// International Conference on Natural Computation.IEEE，2008：529-533

[19] 楊艳春，王晓明，党建武.基于NSCT与区域点火PCNN的医学图像融合方法[J].系统仿真学报，2014.2：50-54

[20] 杨艳春，党建武，王阳萍.基于提升小波变换与自适应PCNN的医学图像融合方法[J].计算机辅助设计与图形学学报，2012.4：70-75

[21] 王朝晖，王佳琪，赵德功等.基于Shearlet与改进PCNN的图像融合[J].激光与红外，2012.2：99-102

[22] Broussard R P. Physiologically-Based Vision Modeling Applications and Gradient Descent-Based Parameter Adaptation of Pulse Coupled Neural Networks[C]// Air Force Institute of Technology，1997.

[23] 马义德，齐春亮.基于遗传算法的脉冲耦合神经网络自动系统的研究[J].系统仿真学报，2006.18（3）：722-725

[24] 张志宏，马光胜.PCNN模型参数优化与多阈值图像分割[J].哈尔滨工业大学学报，2009.3：240-242

[25] 马义德，ZHAN Kun，齐春亮.自适应脉冲耦合神经网络在图像处理中应用[J].系统仿真学报，2008.20（11）：2897-2900

[26] 苗启广，王宝树.一种自适应PCNN多聚焦图像融合新方法[J].电子与信息学报，2006.28（3）：466-470

[27] 李美丽，李言俊，王红梅等.基于自适应脉冲耦合神经网络图像融合新算法[J].光电子·激光，2010.5：779-782

[28] 赵峙江，赵春晖，张志宏.一种新的PCNN模型参数估算方法[J].电子学报，2007.35（5）：996-1000

[29] 于江波，陈后金，王巍等.脉冲耦合神经网络在图像处理中的参数确定[J].电子学报，2008.36（1）：81-85