基于自适应PCNN 的紫外图像融合算法

马立新，周小波，单 宇

(上海理工大学 光电信息与计算机工程学院，上海 200093)

图像融合技术［1］是指将来自不同传感器的两幅或多幅图像，按照某种规则，融合成一幅新图像，即融合图像。融合图像细节丰富、轮廓清晰、信息量大，能够精确地描述目标。通过对紫外放电图和可见光图像的融合，可以获取电晕更多的信息，定位电晕放电的位置。

脉冲 耦 合 神 经 网 络［2－3］(Pulse Coupled Neural Network，PCNN)是Eckhorn 于20 世纪90 年代开始提出的一种基于猫的视觉原理构建的简化神经网络模型，其不同于传统的人工神经网络，具有同步脉冲发放和全局耦合等特性，更符合人类视觉神经系统的生理学特征。PCNN 在图像处理方面有着先天的优势，在图像分割、图像增强、边缘检测、图像识别和图像融合等方面应用广泛［4－9］。文献［10 ～11］提出了基于NSCT 和PCNN 的红外和可见光图像融合的方法，同时将此类方法应用于医学图像融合和多聚焦图像融合。文献［12］针对PCNN 融合算法中每个神经元链接强度取同一常数的不足，提出了一种使用像素的拉普拉斯能量和标准差分别作为PCNN 对应神经元的链接强度的自适应PCNN 图像融合新算法［13－14］。

市场上常用的紫外成像仪的融合模式多是加权融合，能根据环境的需要调节紫外和可见光图像的叠加百分比［15］。近年来，有关方面的研究较少。针对小波变换和简单融合规则的不足，本文在简化PCNN 模型的基础上，以图像空间频率和信息熵作为PCNN 对应神经元的链接强度值，提出了一种自适应调节PCNN参数的融合方法。实验结果表明，此方法适用于紫外图像和可见光图像的融合，融合效果优于加权平均法、拉普拉斯金字塔变换方法和小波方法，能够应用于电晕放电故障的检测和定位。

1 PCNN 基本原理及改进模型

基本PCNN 神经网络是由若干个神经元互连形成的反馈型神经网络，构成PCNN 的神经元是一个复杂的非线性动态系统。一个PCNN 神经元由接收部分、调制部分、脉冲发生器3 部分组成，其数学模型如下

其中，Sij为神经元强制激发的外部激励;VF、V 和VE分别是反馈输入域、耦合连接域L 和动态门限E 的放大系数;αF、αL和αE分别是反馈输入域、耦合连接域L和动态门限E 的衰减时间常量;Mijkl和Wijkl权值矩阵分别是反馈输入域和耦合连接域的连接矩阵;β 是内部活动项的链接系数。

基本模型参数多，实现相对复杂。本文采用简化的改进型PCNN，其模型的数学形式如下

2 自适应参数调整

当链接系数β=0 时，认为各个神经元之间独立运行。这时，神经元循环运行，兴奋并产生脉冲。不同灰度值的像素不受干扰，其独立点火频率依赖于该像素灰度值，与其它像素的灰度值无关。当β 不为0 时，有耦合存在。神经元的点火不仅与自身灰度值有关，而且受其存在链接的神经元的影响。由改进型PCNN 数学模型可知，当链接系数β、链接域L 值越大，能够点火的范围就越大。所以，在耦合状态下，PCNN 集群发放同步脉冲串序列，当一个神经元点火后，输出脉冲信号会在整个网络中迅速传递。因此，对PCNN 参数进行优化时，主要优化链接系数β。

在图像处理中，空间频率和信息熵是融合效果的重要评价指标。图像的空间频率反映了图像空间的总体活跃程度，其值越大，图像越清晰;信息熵用于衡量图像信息的丰富程度，值越大，说明图像内容越丰富。空间频率SF 包括空间行频率RF 和空间列频率CF。空间频率SF 和信息熵H 的计算公式为

其中，f(i，j)是图像f 以任像素(i，j)为中心的M×M 的邻域;L 为图像f 所包含的的全部灰度级数;Pi为像素点的灰度值为i 的概率。本文提出的图像融合算法步骤如下:(1)对待融合的两幅图像A、B 进行配准。(2)设置PCNN 参数初始值。(3)取出各自点火图A1和B1各个像素的局部区域A1(i，j)和B1(i，j)。(4)设定初始阈值T，融合图像F。采用

当abs(max(A1(i，j)) －max(B1(i，j))) ＞T 且max(A1(i，j))＞max(B1(i，j))时，F(i，j)=A(i，j);

当abs(max(A1(i，j)) －max(B1(i，j))) ＞T 且max(A1(i，j))＜max(B1(i，j))时，F(i，j)=B(i，j);

当abs(max(A1(i，j))－max(B1(i，j)))＜=T 时，F(i，j)=(A(i，j)+B(i，j))/2

其中，max(A1(i，j))、max(B1(i，j))分别表示各像素的局部区域A1(i，j)、B1(i，j)的最大值。

3 仿真及实验分析

为验证算法的有效性，选取了一组紫外和可见光图像进行融合试验，尺寸为256×256。并与常用的图像融合算法简单加权方法、拉普拉斯金字塔方法和小波方法进行比较。方法一采用加权平均的融合规则;方法二采用文献［14］中，金字塔的分解层数为5，融合规则是:顶层子图像采用基于区域平均梯度取大进行融合，其余层子图像采用基于区域能量取大进行融合;方法三中，小波的低频区采用灰度值加权、高频区采用基于局部区域绝对值取大的融合规则。文中方法的链接矩阵W=［0.707，1.000，0.707;1.000，0，1.000;0.707，1.000，0.707］，αθ=2.0，Vθ=20，T=0.15。可见光和紫外图像以及各种算法融合图像如图1 所示。

采用平均梯度(AG)、熵(H)、空间频率(SF)、互信息(MI)和标准差(SD)5 个评价指标对融合结果进行客观评价，评价结果如表1 所示。由表中数据可知，本文方法融合图像的熵与其他3 种方法的熵相近，而平均梯度、空间频率、互信息和标准差均高于其他3 种方法。平均梯度反映图像对细节对比的表达能力与纹理反差特征，熵用于衡量图像信息丰富程度，图像的空间频率反映了图像空间的总体活跃程度，互信息能很好地描述融合结果对源图像信息量包含的多少，标准差代表了图像均值分散程度，其值越大，说明融合效果越好。由实验数据的综合分析可知，本文提出的方法优于其他3 种方法，从而证实了该方法的有效性。

图1 可见光和紫外图像及融合图像

表1 图像融合评价指标对比

4 结束语

文中提出了一种基于PCNN 的自适应紫外图像融合方法，利用图像空间频率和信息熵作为PCNN 对应神经元的链接强度值，通过仿真实验，该方法优于加权平均方法、拉普拉斯金字塔方法和小波方法，获得了良好的融合效果。

［1］ 郭雷，李晖晖，鲍永生.图像融合［M］.北京:电子工业出版社，2008.

［2］ Wang Zhaobin，Ma Yide，Cheng Feiyan，et al.Review of pulse－coupled neural networks［J］.Image and Vision Computing，2010，28(1):5－13.

［3］ Eckhorn R，Reitboeck H J，Amdt M，et al.Feature linking via synchronization among distributed assemblies:Simulations of results from cat visual cortex［J］.Neural Computer，1990，2(3):293－307.

［4］ 郑欣，彭真明.基于活跃度的脉冲耦合神经网络图像分割［J］.光学精密工程，2013，21(3):821－827.

［5］ Cheng Feiyan，Wang Zhaobin，Ma Yide，et al.A new approach for edge detection for color microscopic image using modified pulse coupled neural networks［C］.Beijing:ICBBE 2009:3rdInternational Conference on Bioinformatics and Biomedical Engineering，2009:1－4.

［6］ Zhang Yudong，Wu Lenan，Wang Shuihua，et al.Color image enhancement based on HVS and PCNN［J］.Science China Information Sciences，2010，53(10):1963－1976.

［7］ 韩丽娜，耿国华，周明全.PCNN 模型在彩色图像增强中的应用［J］.计算机工程与应用，2012，48(1):5－7.

［8］ Johnson J L，Padgett M L S.PCNN models and applications［J］.IEEE Transaction on Neural Networks，1999，10(3):480－498.

［9］ Lu Yunfeng，Miao Jun，Duan Lijuan，et al.A new approach to image segmentation based on simplified region growing PCNN［J］.Applied Mathematics and Computation，2008，205(2):807－814.

［10］李美丽，李言俊，王红梅，等.基于NSCT 和PCNN 的红外与可见光图像融合方法［J］.光电工程，2010，37(6):90－95.

［11］郭传奇，汪文革，储彬彬.一种改进的PCNN 图像融合算法［J］.计算机工程与应用，2011，47(19):176－178.

［12］李美丽，李言俊，王红梅，等.基于自适应脉冲耦合神经网络图像融合新算法［J］.光电子激光，2010，21(5):779－782.

［13］李伟，庞其昌，李洪，等.小波变换在紫外图像融合中的应用［J］.科学技术与工程，2005，5(15):1067－1069.

［14］陈浩，王延杰.基于拉普拉斯金字塔变换的图像融合算法研究［J］.激光与红外，2009，39(4):439－442.

［15］Otazu X.Introduction of sensor spectral response into image fusion methods.application to wavelet－based methods，geoscience and remote sensing［J］.IEEE Transactions on Geoscience and Remotg，2005，43(10):2376－2385.