基于深度学习的紫外成像仪的图像配准与融合

崔宝京,程晓荣

(华北电力大学控制与计算机工程学院,河北 保定 071003)

1 引言

随着科技的飞速发展,机械化、智能化程度的逐年攀高,各种电力设备应运而生,整个电力系统的负荷不断增加,对电力系统运行的稳定性要求也在不断提高。然而输配电线路及相关电力设备,长期处在室外环境下运行,经过内外部力量的影响,某种程度上会出现绝缘材料损毁等问题,在相关环境条件下发生电力设备电晕放电情况[1]。电晕放电危害电力系统的稳定,易诱发重大事故,因此需要一种方法精准检测放电位置,及时进行维护。

电气设备在进行放电时,电晕与局部的放电位置,会向外辐射出大量紫外线[2]。由于太阳光发射出的波长在280nm以下的紫外光,几乎完全被大气臭氧层所吸收[3]。因此可以直接认定电力设备中检测到的波长在280nm以下的紫外光是由电晕放电产生。紫外成像仪采用全日盲技术的原理,将紫外与可见光图像进行双通道融合,能在电力设备放电早期捕捉到电晕信号[4]。考虑到检测的准确性以及定位的精准,传感器得到的图像不能直接做简单的融合,需要预先对紫外光与可见光图像做配准处理。

目前图像的配准已经被广泛地应用于各个领域,各种配准方式也相继出现。文献[5]提出了一种基于互信息的紫外与可见光图像配准算法,虽然配准精度较高,但耗时较长。文献[6]提出了一种判断式图像的混合配准方法,能够有效的校正剧烈形变所导致的血管损伤评估误差,但需要基于配准组别图像均方差值判定剧烈形变和轻微形变,相对复杂。文献[7]提出了一种基于约束点特征的红外与可见光图像配准方法,采用一种对象检测算法提取约束点特征,避免构造复杂的特征描述子,不需要删除错配和冗余点,提高了配准效率。引入高级语义信息,提高配准精度,但可能会造成一些关键性的特征丢失。

图像配准是融合的基础和前提[8],而提取特征又是整个配准过程中最重要的环节,能否精确提取特征直接影响配准的精度。因此,找到一种稳定且精准的提取特征的方法,对于整个图像配准来说十分关键。本文提出了一种基于AlexNet网络与果蝇优化算法(Fruit fly optimization algorithm,FOA)-小波融合的图像配准融合方法。通过AlexNet网络对图像特征进行自动提取,经过多层卷积获得待配准图像的大量关键性的特征信息,进而得到两幅图像的空间变换参数,完成图像配准;再结合FOA-小波算法对已配准的图像实现融合。

2 AlexNet网络图像配准

2.1 AlexNet网络

2012年,Krizhevskya和Hinton等人在深度学习思想的影响下设计了基于卷积神经网络的AlexNet模型,AlexNet模型已在超过1000种类的100多万张图像上进行了训练,学习相对丰富的特征表示[9]。对于传统的机器学习而言,是一次历史性的革新,开创了深层神经网络的先河,在AlexNet网络之后不断涌现出更深层次的神经网络。

AlexNet网络是基于卷积神经网络的一种经典模型,具有8层卷积神经网络结构,包括5层卷积层,3层全连接层,1层softmax损失层。结构深,参数多等特点,使其相较于传统的神经网络而言,能够得到更多的特征信息[10]。

AlexNet网络在卷积神经网络中运用ReLu作为激活函数,避免了常规的Sigmoid函数与Tanh函数在神经网络层数较深时出现的梯度消失的问题,其函数图像对比如图1所示。此外ReLu函数不需要进行幂级运算,并且当输出大于0时梯度为1,有效的保证误差反向传播型神经网络权值与阈值的持续优化[11]。ReLu函数表达式如式(1)

图1 激活函数图像对比

f(x)=max(0,x)

(1)

AlexNet网络引入了Dropout技术,又称其为丢弃层。Dropout丢弃层随机忽略部分神经元,使模型不过分依赖某些局部特征[12],防止了过拟合现象的发生,提高了模型的说泛化能力。

AlexNet网络运用了重叠最大池化的方法,提出了池化滤波器的移动步长小于其尺寸边长,如图2所示,使池化层的输出发生重叠,丰富了提取的特征信息。

图2 重叠最大池化

AlexNet网络应用了局部响应归一化层(LRN),对局部神经元的活动创建竞争机制,对反馈较大的神经元进行响应放大,对响应较小的神经元进行一定抑制。这种竞争机制的建立使模型在丢弃层的基础上进一步增强了泛化能力。AlexNet网络在本实验中被用作特征提取器,通过不同深度层次的5层卷积层,如图3所示,分别提取图像的不同特征,有效解决了人工提取特征的局限性问题,具有更好的适用性。

图3 AlexNet网络结构

2.2 空间变换矩阵

图像的配准方法有很多种,但是不管哪种方法,其根本目标都是完成两幅图像在空间上的对应关系。基于特征的配准方法,在特征匹配的同时得到最佳的空间变换参数。因此图像的配准可以看作待配准图像以目标图像为基准进行的空间变换过程,其变换过程用数学公式表达为

Ig(x1,y1)=F[Ir(T(x2,y2))]

(2)

上式中,Ig(x1,y1)表示为待配准图像某点的像素值,T(x2,y2)表示空间变换时该点的矩阵参数,Ir(T(x2,y2))表示为空间变换后对应像素点的坐标,F为待配准图像像素点变换到目标图像对应像素点的插值操作。

构造空间变换矩阵之前,最重要的是找到待配准图像与目标图像的空间对应关系,确定空间变换模型。根据以往研究发现,图像配准过程可能存在的空间变换关系有平移、缩放、旋转以及无规则变换,如图4所示。

图4 空间变换关系

在紫外成像仪中,可见光镜头与紫外光镜头经过了严格的光学校准,在进行配准时只涉及平移操作,不需要改变图像的形状与大小,因此刚体变换模型完全满足需要。刚体变换矩阵可表示为

(3)

式(3)中,(x,y)与(x′,y′)分别代表变换前后某像素点的对应坐标,dx、dy分别代表水平方向与竖直方向的平移量,θ为旋转角度。

3 FOA-小波融合

3.1 小波变换

小波变换在处理图像时重构能力强,不仅可以找到正交基实现无冗余的信号分解[13],又保证了信号的分解信息不被丢失。

小波变换进行图像分解具有方向性,在提取图像低频信息的同时,还获得了水平、垂直、对角线三个方向的高频信息。进行每一层的分解时,都会生这4个子带,下一层的分解仅对低频信息作用。图像的灰度信息,大多分布在低频分量中,表征了图像的轮廓,展示了图像的直观视觉[14];高频分量代表了图像的细节特性。整个小波变换过程分为两个步骤,第一是源图像的分解,第二是分解后图像的重构。

分解产生低频子带信息如式(4)所示

(4)

分解产生水平方向的高频子带信息,如式(5)所示

(5)

分解产生垂直方向的高频子带信息,如式(6)所示

(6)

分解产生对角线方向的高频子带信息如式(7)所示

(7)

将分解信息重组,得到重构图像,如式(8)所示

(8)

根据上述分解式(4)-(7)可知,二维小波分解的示意图如图5所示。

图5 小波两层分解示意图

分析不同的小波融合规则适用范围,对高频部分采用局部方差融合规则。将两个源图像的高频子带的数据信息分别分成n个子块,每个子块的数据信息分别为A、B。计算高频融合信息

(9)

式(9)中K1和K2为紫外光与可见光图像的高频子块的融合加权系数。当紫外光高频子块的方差数值大于可见光的高频子块时则K1大于等于K2,反之则K1小于K2。F为融合后的高频子图像。

对于低频部分采用加权平均法,通过调整权值,对融合的低频信息进行偏好设置,可在某种程度上消除噪声。具有实现简单,运算效率高等优点,大大提升了整个算法的融合效率。

3.2 FOA算法

紫外光与可见光图像,经过小波分解产生对应的分解向量。在经过一定的重构系数,得到重构向量,进而得到融合图像。这里需要一种高效的优化算法,通过迭代寻优找到两个图像分解向量的最优融合参数。

果蝇优化算法(Fruit fly optimization algorithm,FOA)是基于果蝇觅食行为的仿生学原理而提出的一种智能群体优化算法[15]。通过对果蝇捕捉食物的过程进行模拟,进而实现对全局的迭代寻优,找到最优解。与粒子群算法[16]、遗传算法[17]等优化算法相比,FOA原理易懂、操作简单、易于实现,具有较强的局部搜索能力[18],在深度学习、人工智能领域被广泛应用。

FOA满足了同时优化多个参数的需求,根据优化参数个数定义种群规模,随机初始化种群位置以及飞行方向、距离区间。由味道浓度判定函数,得到各位置果蝇浓度,每次迭代判断味道浓度是否优于前一代味道浓度,计算公式如下

D(p,i)=(X(p,i)2+Y(p,i)2)0.5

(10)

S(p,i)=1/D(p,i)

(11)

A(i)=S(p,i)

(12)

其中D(p,i)表示种群p中第i个果蝇距离原点的位置,X(p,i)与Y(p,i)为初始化种群各果蝇位置的横纵坐标;S(p,i)为该果蝇位置的味道浓度,取距离D(p,i)的倒数;A(i)为待优化的第i个参数。

FOA优化算法中,初始化的果蝇,随着一次次迭代,不断变换位置,直到迭代寻优结束后,这些位置形成了果蝇的飞行路线,呈散点状分布,如图6所示。

图6 优化后的果蝇飞行路线

3.3 FOA优化小波算法原理

FOA优化小波算法原理简单便于操作,如图7所示。将移动配准后的紫外光图像与可见光图像进行不同级别的小波分解,产生不同的分解向量,作为训练样本,带入FOA优化模型进行迭代,得到最佳融合参数。

图7 FOA优化小波算法原理图

优化模型中,融合图像的信息熵可看作味道浓度,融合参数为果蝇位置坐标。迭代优化过程即找到融合图像信息熵最大值前对应的融合参数的迭代寻优过程。

4 紫外与可见光图像的配准融合

基于AlexNet网络与FOA-小波融合的图像配准融合流程图,如图8所示。具体步骤如下所示:

图8 配准融合流程图

1)通过AlexNet网络对待配准的紫外与可见光图像分别进行特征提取,并配合空间变换矩阵对图像提取的特征进行配准;

2)经过二维小波变换,对可见光图像与空间变换移动后的紫外图像进行分解;

3)经FOA优化得到小波融合的最佳融合参数后,对分解向量重构,实现图像的配准融合。

5 实验与结果分析

实验装置需要用到十字低压汞灯、高灵敏紫外镜头与可见光镜头。由于240-280nm的紫外光成像后只有目标信息,无法对放电位置进行精准的识别。所以高灵敏紫外成像仪具有双通道,同时对日盲紫外光与可见光接收成像,再进行实时的配准与融合。通过将仅携带目标信息的紫外光与携带背景信息的可见光进行配准融合,精准找到放电位置。为了便于对融合后的图像进行观察,此处使用了十字低压汞灯。紫外镜头与可见光镜头如图9所示。

图9 高灵敏紫外镜头与可见光镜头

5.1 AlexNet网络训练结果分析

表1为AlexNet网络模型的结构参数,由表可知该网络模型共有24层,除了基本的5层卷积、4层全连接外,另有3层池化、7层ReLu层、2层归一化层、2层丢弃层、输入层和输出层。该模型输入层有一定要求,像素为227*227的3通道的图像。本网络在此处处理回归问题,输出层为回归层,经过4层全连接层后输出9行1列的空间变换参数矩阵。

表1 AlexNet网络结构参数

图10为AlexNet网络的训练结果,(a)、(b)分别表示训练样本的均方根误差及损失函数图像。

图10 AlexNet模型训练过程

由图10可知,训练过程中随着迭代次数的增加,均方根误差与损失函数曲线,均是先经过骤降后,逐渐趋于稳定,达到收敛状态。测试集曲线变化趋势,与训练集曲线变化趋势基本吻合,表明模型未产生欠拟合或过拟合情况,训练效果良好

5.2 主观评价

图11分别表示采用AlexNet网络-FOA小波融合算法,对不同距离下拍摄的紫外光与可见光图像的配准融合效果。通过对比很清楚的观察出,配准融合后的图像很好的实现了空间上的对齐与显示上的融合。这表明基于AlexNet网络-FOA小波融合的紫外与可见光图像的配准融合的方法在直观视觉方面已经满足了预期的图像配准融合要求。

图11 不同距离下基于AlexNet-FOAWF图像配准融合算法仿真结果

5.3 客观评价指标

5.3.1 叠加精度

在主观评价部分,已经从主观视觉层面表明了方法的有效性。这里引入了叠加精度作为紫外光与可见光图像配准的客观评价指标,从客观数据指标层面对该方法加以验证。叠加精度代表紫外成像仪中可见与紫外两通道对同一发射光源成像时叠加角度偏差的最大值,单位为 mrad[5],测试系统示意图如图12所示。

图12 叠加精度测试系统

同一视角发射的混合光源,通过分划板,分别射出可见光与紫外光进入平行光管。紫外成像仪对双通道射出的紫外与可见光进行成像。最后通过一定方法获得生成图像的中心点。由式(13)求解获取叠加精度。

(13)

其中dx与dy分别为紫外与可见光图像的质心横纵坐标差;W、H分别为水平、竖直方向的像素数;θw、θH分别为水平、竖直方向上的测量角度。由式(11)分别计算出6m、10m、14m距离下的紫外光与可见光图像配准后的叠加精度。将不同距离下的叠加精度整理如表2所示。

表2 配准后的叠加精度

由式(11)可知,精确定位紫外光与可见光图像的中心点坐标是计算叠加精度的关键。本文利用Matlab自带ginput函数,标识坐标区坐标。通过肉眼对图像质心的观察,选取三个点进行坐标识别,最后对三个点的横纵坐标取均值得到图像最终的质心坐标。考虑可见光图像目标信息影响因素较多,手动的的识别方式相对于自动的质心识别更加准确,当然在允许范围内也存在一定的误差。

5.3.2 融合信息熵

为了更好的判定融合的效果与FOA优化的优点,这里引入融合信息熵作为图像融合的评价指标。假设融合图像为F,计算融合信息熵有如下几个步骤:

1)将融合图像F转为灰度图,记录融合图像的每个灰度值的像素数,得到对应的直方图统计hf(i)。

2)由式(14)计算融合图像的灰度直方图统计概率,得到图像中每个像素值的出现概率。

(14)

3)由式(15)计算融合图像的信息熵。

H(F)=-pf(i)*log2pf(i)

(15)

式(14)中的m、n分别表示,融合图像对应得二维像素矩阵得行数与列数;式(15)中H(F)为计算得到得融合图像得信息熵,当信息熵值越大时,其包含得特征信息越多,保留的图像细节越丰富,图像得融合效果越好。当信息熵值为1时表示完全融合。

在不同距离下拍摄得到得紫外光与可见光,经过配准融合后得到的信息熵的值如表3所示。可以看出经FOA优化后得到的融合图像的信息熵,明显高于未优化得到的融合图像。

表3 不同距离下融合图像信息熵

5.3.3 对比实验

为了验证本方法配准融合的优越性,将本文方法与文献[4]和文献[5]的方法进行了对比实验。在相同条件下分别运用三种方法对紫外成像仪在6m、8m、10m、12m、14m距离下得到的紫外光图像与可见光图像进行配准融合操作,对比结果如表4所示。

表4 对比实验结果

从表4中可以看出,相同条件下进行图像配准融合,本文所提方法无论在叠加精度还是融合信息熵方面均明显优于文献[4]与文献[5]中的方法。因此运用本文方法进行配准融合优势明显。

6 结论

针对高灵敏紫外成像仪中紫外光与可见光特征匹配困难,配准精度和融合效果不佳的问题,提出了一种基于AlexNet网络与FOA-小波融合的图像配准融合方法,得出如下结论:

1) 结合AlexNet网络和空间变换矩阵对紫外图像和可见光图像进行配准,该方法收敛速度快,匹配精度高,配准弧度小于0.5mrad,满足工业要求。

2) 利用FOA优化二维小波,实现可见光图像与紫外光图像融合。相比传统的小波融合算法,无需人工设定阈值。融合后的图像具有较高的信息熵。

通过本文方法,能够高效地实现高灵敏紫外成像仪可见光图像与紫外光图像的配准与融合,为实时精确地定位电力设备的放电位置打下基础,该方法具有较好的应用前景。