改进哈里斯鹰优化PCNN参数的图像融合应用

陈 辉,刘立群

(甘肃农业大学 信息科学技术学院,甘肃 兰州 730070)

0 引 言

图像融合是指将多幅图像通过选用一定方法融合成为一幅图像,融合图像较源图像清晰度更高、边缘强度更显著、包含的信息量也更多[1]。对异源图像进行融合处理,能够让人们对场景目标获得更为准确,全面和可靠的图像描述。许多学者近年来专注于异源图像融合的研究,并取得了可观的融合效果。

脉冲耦合神经网络[2](Pulse Coupled Neural Network,PCNN)是Eckhorn在研究动物大脑皮层神经元结构的启发而提出的一种具有同步脉冲发放、整体耦合的神经网络模型,该模型与人体的视觉神经结构特点相吻合。PCNN具有很好的图像处理能力,在图像分割、边缘检测、图像融合等领域有着广阔的应用前景[3]。郭传奇等[4]通过将图像空间频率和信息熵作为PCNN神经元的链接强度值,提出一种应用于紫外线图像的融合方法。李美丽等[5]提出一种基于多尺度变换的PCNN和果蝇算法(Fruit Fly Optimization Algorithm,FOA)图像融合方法,利用FOA优化PCNN模型系数来提高图像融合效果。

群体智能优化算法在处理工程优化问题和数值优化问题上具有较高的效率。近年来相关学者通过研究自然界生物生存捕食的规律提出了新的智能算法,如混合蛙跳算法[6](Shuffled Frog Leaping Algorithm,SFLA)、蝴蝶算法[7](Butterfly optimization algorithm,BOA)、樽海鞘算法[8](Salp Swarm Algorithm,SSA)、灰狼算法[9](Grey Wolf Optimization,GWO)、鲸鱼算法[10](Whale Optimization Algorithm,WOA)、哈里斯鹰优化算法[11](Harris Hawks Optimization,HHO)等,不少学者在算法原有的基础上也提出了许多有效的改进及相关领域的应用。Heidari等人从鹰的狩猎行为中得到灵感而提出了哈里斯鹰算法,该算法的结构设计简单清晰,收敛快,寻优能力强。但和其他智能优化算法一样也存在着缺陷,如前期探索过程不够广泛、易于陷入局部最优、后期开发过程收敛精度不足,研究者在不同方面提出改进。Hussain等人[12]通过引入具有记忆概念的变体来存储最优历史位置,按照概率来引导个体。汤安迪等人[13]引入精英等级制度策略、Tent混沌映射、非线性能量因子和高斯随机游走策略来优化HHO算法。Qu等人[14]利用个体之间的信息共享交换来优化HHO算法。

该文在基础哈里斯鹰优化算法(HHO)的基础上,针对上述缺陷,提出了一种混合种群增量学习的哈里斯鹰算法(Harris Hawk Algorithm for Incremental Learning of Mixed Populations,XHHO)。将改进后的算法应用于优化脉冲耦合神经网络(PCNN)参数的自适应设定,并将其应用在图像融合中。实验对比表明,该算法在主客观评价上均优于对比的融合算法。

1 混合种群增量学习的哈里斯鹰优化算法

哈里斯鹰算法分为探索阶段、探索到开发的转化、开发阶段三部分。探索阶段哈里斯鹰群是寻找并观察猎物的阶段,即种群初始化阶段;此阶段鹰群会根据取值为[0,1]的概率因子q的大小来采用两种不同的策略。探索到开发的转化是鹰群发现猎物后,向猎物发起捕获的准备阶段,该阶段猎物的逃逸能量E≥1。在开发阶段,猎物的逃逸能量E≤1,鹰根据猎物逃逸能量和引入的一个[0,1]的随机数r两者的排列组合来采取四种不同策略[15]。

由于算法在前期探索过程中探索区域不够广泛,从而导致在后期开发过程中极易陷入局部最优而快速收敛,造成了算法求解精度不能满足应用需求。针对哈里斯鹰优化算法目前存在的问题,该文做了如下的优化改进。

1.1 种群增量学习方法

HHO算法中探索阶段是通过引入在[0,1]随机变换的随机数q来调整两种不同的公式进行全局探索,极易使得算法陷入局部最优。

提出的XHHO算法通过把初始化得到的极值个体通过增量学习的方法使用实数编码;将较优鹰群个体作为参考,最差个体通过变异实现整体优化,扩大了种鹰群搜索范围,避免了算法陷入局部最优的缺陷。

实数编码方案:

设S代表十进制编码,长度为K,第i个实数位Si(1≤i≤K)的取值为0～9之间的数,即该个体实数位表达为(0,1,2,3,4,5,6,7,8,9)之间的一个数。N为鹰的数量,dim为问题的维度,一个哈里斯鹰的解向量的数据结构可定义如下:

X=(x1,x2,…,xi,…,xdim),xi∈(0,N)

(1)

在此过程中,对任意一个dim维的问题解,先对位置向量进行降序排列,然后选取适应度值最高的前N/2的较优个体作为参考,将原位置向量上每个分量的索引对应到排序后的向量上,选取N/4个最差个体进行变异,通过较差个体的变异极大地避免了算法陷入局部最优的缺陷,同时也扩大了搜索范围。其进化原理如图1所示。

图1 种群增量学习原理

1.2 引入激活函数Tanh

引入激励函数使其更适合于求解更多的非线性问题。图2中显示了Tanh函数的曲线,表达式为式(2):

图2 Tanh函数曲线

(2)

哈里斯鹰捕获猎物过程中,猎物的逃逸能量应随着时间的推移呈现非线性下降的趋势。XHHO算法中为了更加生动真实地表示兔子在逃跑过程中的能量损失,引入了激活函数Tanh使得逃逸能量从原有的线性递减变为非线性递减,使其更符合自然规律,而且能够更加有效地提升算法的求解精度。

由于逃逸能量E是从探索阶段向开发阶段过渡的决定性因素,所以合理设计E的表达式至关重要。HHO算法中利用公式(3)来设计逃逸能量。

(3)

式中,E代表了猎物逃逸时的能量,E0是猎物被鹰群发现开始追捕的初始逃逸能量,其大小是-1到1之间的一个随机数,t是算法当前的迭代次数,T是算法的最大迭代次数。

引入激活函数的逃逸能量表达式如式(4)所示:

(4)

1.3 算法实现步骤

XHHO算法具体步骤如下:

Step1:对鹰群进行初始化,然后根据每个鹰的适应度函数,确定其最优个体;

Step2:当概率因子q≥0.5时,利用算法原有公式(5)进行探索,当概率因子q<0.5时,利用种群增量学习方法变异鹰群增强算法全局探索的能力;

X(t+1)=Xrand(t)-r1|Xrabbit(t)-2r2X(t)|

q≥0.5

(5)

式中,Xrand(t)代表当前鹰群中随机选择的一个单独的个体鹰,Xrabbit(t)代表当前全局最优个体,X(t)是当前鹰的位置。

Step3:计算鹰群个体的适应度值,获取当前最优个体鹰;

Step4:按照公式(4)更新逃逸能量E;

Step5:根据逃逸能量E和策略因子r的值选择对应的策略进行开发;

Step6:判断当前迭代次数是否取得最大次数或已满足算法终止条件?符合判断条件则输出最优解,否则返回Step2。

XHHO对应算法流程如图3所示。

图3 XHHO算法流程

1.4 算法时间复杂度分析

设算法总的迭代次数为T,种群总数为S,维度为D。HHO算法在初始化阶段,要对每个单独的老鹰进行初始化,这一过程的时间复杂度为O(N);计算种群最优位置时间复杂度为O(T*N);更新种群位置的时间复杂度为O(T*D*N),综上HHO算法的时间复杂度为:

O(HHO)=O(T)+O(T*N)+O(T*D*N)

(6)

XHHO算法将原始HHO算法探索阶段概率因子q<0.5的更新策略替换为增量学习方法,且后面能量公式E的改变并不改变算法原有的时间复杂度,所以XHHO算法的时间复杂度为:

O(XHHO)=O(T)+O(T*N)+O(T*D*N)

(7)

如上所述,提出的XHHO算法未增加算法原有的时间复杂度,整体上优于原始的HHO算法。

2 基于XHHO算法和PCNN的异源图像融合

脉冲耦合神经网络是Eckhorn在研究动物大脑皮层神经元时提出的一种新型神经网络模型。模型中每个神经元由接受域、调制域和脉冲产生域组成,多个神经元相互连接构成了PCNN模型。由于PCNN模型中参数较多,大多采取经验值,而未能根据相应的应用来自适应调整参数,使得选取的经验值不能满足实际应用问题。其模型方程式如式(8)所示。

Fij(n)=Iij(n)

Uij(n)=Fij(n)×(1+βLij(n))

θij(n)=exp(-αθ)θij(n-1)+VθYij(n)

(8)

2.1 基于XHHO算法的PCNN模型参数优化

利用XHHO算法来探索PCNN模型中链接输入(αL)、时间衰减系数(αθ)、链接强度(β)3个参数的最优值。融合后的图像信息熵和源图像之间的相关性是对融合结果进行客观评估的重要指标。信息熵值越大代表融合结果包含信息越多;相关系数越大,则愈能从原始影像中获得越多的相关信息,越能取得较好的融合效果[16]。所以XHHO在迭代寻优过程中,利用了融合图像评估指标中的相关系数与信息熵的和作为目标函数。融合图像F与源图像A(可见光)、B(置信图)的相关系数各占25%,信息熵占50%。目标函数表达式如下:

fitness=0.25(CCA,F+CCB,F)+0.5*ENF

(9)

式中,CCA,F、CCB,F分别是可见光图像A、置信图B与融合图像F的相关系数,ENF是融合图像F的信息熵。

XHHO算法以迭代探索fitness的最大值为目标,结束迭代时将探索的全局最大值作为哈里斯鹰群的最优位置。利用XHHO算法优化PCNN模型最优参数步骤如下:

(1)设哈里斯鹰种群个体数N=30,最大迭代次数为T,将每只哈里斯鹰表示为X(αθ,β,αL),通过XHHO不断迭代寻优进行PCNN模型的参数优化;

(2)将融合图像的信息熵及与源图像的相关系数之和作为与鹰群最优个体对应的适应度,探索最优个体;

(3)寻找最优fitness;

(4)记录最好个体鹰的位置,将其X(αθ,β,αL)对应的参数作为PCNN模型最优参数;

(5)令t=t+1,重复第2步、第3步,以判定适应度是否比上次的迭代效果好;

(6)当t=T时,得到PCNN最佳加权系数和最佳融合效果。

图4为XHHO算法优化PCNN参数流程。

图4 XHHO算法优化PCNN参数流程

2.2 基于XHHO的PCNN的图像融合

基于XHHO优化PCNN图像融合步骤如下:

(1)将可见光图像A与TOF图像(置信图)B归一化后作为PCNN1和PCNN2网络的输入神经元,记作A'和B';

(2)利用XHHO优化PCNN模型的三个系数αθ,β,αL;

(3)将优化后的系数带入公式得到源图像的点火映射图DA和DB;

(4)融合规则采用最大化原则:

(10)

图5为文中融合方法流程。

图5 融合流程

3 实 验

3.1 混合种群增量学习哈里斯鹰优化算法性能分析

3.1.1 实验设计

通过比较和分析XHHO算法与其余6种算法(包括HHO、BOA、GWO、WOA、SSA、SFLA)的寻优性能,选取21个(函数名为Bent cigar、Zakhaprov、Rastrigin、QuarticWN、High Conditioned Elliptic、Discus、Ackley、Weierstrass、Griewank、HGBat、Bukin、Schaffer N.2、Schwefel、Bohachevsky、Rotated hyper-ellipsoid、Sphere、Sum squares、Powell、Booth、Matys、Three-Hump Camel)具有单峰和双峰不同性质的测试函数[17]进行仿真实验,验证提出的优化算法的性能。优化算法一般都需要利用测试函数来检验其可靠性和鲁棒性,常用的测试函数一般都具有多维度、多峰值的特点,能够很好地检测出算法的整体性能,包括算法的收敛速度、搜索能力和求解精准度。

3.1.2 XHHO与其他算法性能比较

为了验证XHHO算法的优化性能,将其与HHO、BOA、GWO、WOA、SSA和SFLA等算法进行了对比。在实验过程中,所有算法的种群数量N=30,维度D=30,最大迭代次数T=500。图6为在固定的全局演化次数条件下的收敛曲线,横轴代表迭代次数,纵轴代表函数值(除函数f8外,其余函数值均取自然对数)。

图6 选用测试函数的收敛曲线

3.1.3 结果分析

从图6的收敛曲线可以看出,在21个函数中f1、f2、f5、f6、f9、f15～f18等9个函数曲线明显优于其余6种函数曲线,f1～f10、f15～f18等14个函数,XHHO算法的优化精度最高,f11、f12、f14、f19～f21等6个函数,7种算法都取到了最优值。综上说明XHHO算法能够取得更高的精度,更好的优化性能。

3.2 基于XHHO优化PCNN系数自适应图像融合性能分析

3.2.1 实验设计

为了验证该融合方法的有效性,选取两组分别在存在光照影响的果园环境和无光照影响的室内环境内的可见光图像和飞行时间相机(Time of Flight Camera,ToF Camera)拍摄的置信图(共计四组,均已配准,分辨率为469×469)作为源图像进行融合效果对比。采用的对比方法包括自适应PCNN融合方法[18]、双通道脉冲耦合神经网络(Dual-channel Pulse Coupled Neural Network, Dual-PCNN)融合方法[19]、小波融合(Discrete Wavelet Transformation,DWT)[20]、色调饱和度亮度(Hue Saturation Intensity,HSI)融合方法[21]和文中方法进行对比。

3.2.2 对比结果分析

在以上5种算法融合结果中,文中融合算法在主观视觉方面轮廓和亮度最清晰。除主观评价外,客观评价采用平均梯度、清晰度、信息熵、交叉熵、互信息等作为评价指标,各种融合算法比较结果如表1所示。除交叉熵外,其余4种评价指标越大,图像融合效果越好。由表1数据可知,对于果园环境的两组图像(a组和b组)融合结果在信息熵略低于Dual-PCNN、DWT和HSI方法,交叉熵略差于Dual-PCNN和DWT,互信息略低于HSI方法;室内环境的两组图像(c组和d组)融合结果在互信息熵略低于HSI方法,剩余指标均优于其余算法。四组图像融合结果表明,文中改进的算法对于原始融合算法在多项指标均有提升,在平均梯度上提升0.4～2.1,清晰度提升0.4～2.1,信息熵提升0.4～0.7,互信息提升0.08～1.6。

表1 各算法的客观评价指标

4 结束语

对于传统脉冲耦合神经网络模型最优系数难以解决的问题,通过改进后的XHHO算法探索PCNN模型中重要的3个参数(链接输入(αL)、时间衰减系数(αθ)、链接强度(β))的最优取值来优化PCNN模型,提出了基于XHHO和PCNN的异源图像融合方法;并将其应用于可见光图像与ToF置信图的融合。经过对置信图和可见光图像的融合实验,表明该方法优于原始的自适应PCNN和部分常用的融合算法。今后将对该领域做更加深入的研究。