基于AKAZE和MSRCR增强的红外图像目标提取

王立力，夏飞

（上海电力学院，上海 200090）

0 引言

在变电站中，应用红外热成像技术，对电力设备进行非接触的热辐射扫描成像，得到热像图，通过研究红外的图像，判断设备是否故障。红外诊断技术是一种非接触，被动式的测量技术，可以检测和诊断变电站设备大量的内外部缺陷。

在红外电气设备的运行状态监测中，为了掌握设备的运行状况，以及故障的演变，需要在不同时期连续记录设备的红外图像。然而，由于搭载的运行设备的小车底盘无法每次都精确的停在同一位置，导致红外热成像传感器出现观测角的偏移，由此无法获得目标的准确参数。因此，需要对偏差图像进行配准，消除位置偏差和透视的影响。

为了将不同的两张图的部分点的坐标找到一一对应的关系，需要获得欧氏尺度上和灰度级的转换关系。主要任务是寻找最佳的空间变换 f与灰度变换关系g，实现两幅图像的对准。图像的配准需要以下几步：建立特征向量的高维空间、搜寻匹配特征、求解转换参数、特征点变换。

我们选择AKAZE进行红外图像匹配，可以使结果不因旋转发生变形、光照改变无法匹配、匹配速度块、不受环境扰动影响。

1 算法设计

1.1 检测流程

首先采用MSRCR增强模板图像，第一步通过频域低通滤波去除噪声。之后，采用Canny提取模板轮廓，通过人工或者机器学习，由轮廓图构建兴趣区域。第二步，采集到新的红外热成像图之后，应用AKAZE算法，将采集到的新图像与模板图像进行配准，通过FLANN对特征点进行粗匹配，然后通过两级筛选，获得精确的特征点匹配结果。第三部，从匹配的特征点计算出单应性矩阵，将新图像映射到模板的区域，提取出兴趣目标。

1.2 图像预处理

首先对图像采用MSRCR算法增强红外灰度图。

因为采集的图像的灰度分布较为集中，部分区域对比不明显，为了可以高效的检测图像中的特征点，提高图像的配准效率，这里采用MSRCR提升对灰度图像的细节。

自然界或者人造场景中的光线部分直接进入人眼作为背景亮度，部分光线照射到物体上反射进入人眼，使得物体可以背人感知。这部分光线取决于物体表面的物理性质，不受环境光的干扰。因此，人眼感知的图像，来源于环境和反射光线的叠加：

式中：I(x,y)表示观察者看到的图像，L(x,y)表示背景光照的部分量R(x,y)表示观察物体反射出来的部分量对I(x,y)做高斯模糊得到L(x,y)。加上带权重偏置量w后，得到公式：

下图是MSRCR算法对图像进行增强的前后对比，左侧是采集到的图像右侧是经过增强后显示的图像。可以看到算法可以将图像的细节的清晰度大大增强的。

图1 算法流程图

图2 左图是增强前灰度图，右图MSRCR增强后灰度图

由于使用MSRCR算法增强了图像，使得图像在有效部分增强的同时，引入了高斯噪声信号，同时把热成像元件中的高频噪声信号增强了，这里采用频域低通滤波对图像图像作滤波处理。

图3 左图原图经中值滤波后提取的边缘图右图原图经维纳滤波后提取的边缘图

图4 滤波后提取边缘的效果，可以明显看到噪点干扰的消失

2 红外图像配准

2.1 AKAZE搜寻特征点

非线性扩散滤波（Nonlinear Diffusion Filtering）：这个过程采用流量函数描述红外图像的亮度的变化，表示为偏微分方程。图像明暗的变化对应到非线性空间的扩散过程。以便克服高斯尺度空间边缘模糊的问题：

其中，L是采集到的红外图像亮度;div，，∇分别是发散和梯度算子。c(x,y,t)是取决于图像差分结构的传导函数，表示为:

其中，采用函数∇Lm对红外图进行高斯平滑，获得的梯度图像。为了增强较小区域的扩散效果，传导函数g(x)：

其中，kd是调整因子，用来改变特征对比度，确定增强和保留的边缘。这个方法计算开销很大，需要多次迭代才能获得近似解。

建立快速显性扩散（Fast Explicit Diffusion，FED）的费尺度空间：建立一个考虑各向异性扩散的非线性尺度空间。为了加快非线性尺度空间的构建。

使用外部FED函数周期计算时，首先求出迭代步长Tj。

其中Tmax是符合显式扩展稳定性条件的最大步长。然后计算如下的迭代：

I是单位矩阵。输入梯度图像A(Li)和初始值Li+1,0，代入；不同的迭代步长 Tj。最后更新梯度图像A(Li)。

其中，Tmax是满足显性算法的稳定性条件的最大步长。将FED循环嵌入到尺度由精到粗的浸渍法结构中，可以极大改善计算速度。

建立非线性尺度空间：金字塔结构有O层级和S子层组成，对了对图像像素缩放，采用如下公式建立层与像素尺度的对应关系：每层与原始图像具有相同分辨率，尺度参数可以表示为:

每层有S个子层，所以共有N=O·S幅图像。像素尺度无法直接使用非线性扩散滤波，因此要将其转化为时间尺度：

特征点检测与描述：首先计算获得的金字塔每一层滤波图像Li的Hessia行列式，表示为

由于特征值具有旋转不变性，所以求取以特征点为中心的局部主导方向。采用π/3扇形区域作为局部区域，δi为采样步长，计算区域中像素的一阶导数Lx和Ly，对结果高斯加权，算出特征点主方向。

在尺度为δi图像上，选择特征点为中心，大小为(24∙δi)∙(24∙δi)的区间计算特征点一阶导数 Lx和 Ly。该区域再细分为16个子方格，共4行4列，边长是(9∙δi)。在每个子区间中心高，使用高斯（半径δ1=2.5*δi）加权，然后采用下式叠加：

获得16个子区域的特征描述符，然后以特征点为中心，采用高斯（半径δ2=1.5*δi）对特征描述符加权，每个子区间有4个描述子，因此，最终获得的64个长度的归一化特征向量。

2.2 AKAZE特征点匹配与筛选

为了提高算法的运算速度，实现红外匹配的实时性。这里选择 Fast Library for Approximate Nearest⁃Neighbor（快速近似最邻近库，FLANN）[15]算法。通常使用KNN近邻算法建立不同图像特征点的映射关系。

FLANN算法流程如下：

（1）首先建立随机树，对于多维特征，首先选择维度D=5作为起始维度。当搜索树优先级队列，以便可以顺序搜索随机树。通过检查固定数量的叶节点，计算获得近似程度，之后，搜索中值，返回最佳候选对象。

（2）使用K均值聚类将不同层的点分割到K个不同的区域，然后递归地对每个区域中的点应用相同的方法来构造分层k均值树。当区域中的点数小于K，我们停止递归。

（3）算法以最佳bin-first方式探索分层K-means树，首先单次遍历整个树，将遍历路径中每个节点的所有未探索的分支添加到一个有限队列中。然后，从优先队列中提取与请求点中心距离最近的分支，再从该分支处，重新开始遍历树。在遍历树的过程中，不断向优先队里添加未探索的分支。当检查的树叶节点数满足预先设定的值时，停止探索。搜索的精度由用户指定。

2.3 单应矩阵的计算

在处理实时图像到模板的映射时，我们需要计算平面单应性映射矩阵。一个单应矩阵是大小为3×3的矩阵H,满足给定一个点P1=[x1,y1,w1]T,H把点P1变成新的点P2=[x2,y2,w2]T=HP1,对应的图像上的两个点分别是得到等价的矩阵形式：Au=v

如果存在四对不共线匹配点对，可以构建8个方程，存在唯一解。

3 实验分析

3.1 图像采集平台

实验硬件设备，使用上海热像826型红外热成像仪。

实验平台是Windows 10（Intel Core 3632,8G内存）。

3.2 实验结果分析

为了验证基于AKAZE和flann及RANSAC红外热成像图像配准算法的有效性，这里将其与基于SIFT、基于orb、基于surf、基于brisk算法进行定量的分析比较。

定量分析的指标如下：

重复率：两幅图像Ia和Ib上分别检测到的特征点a和b，两幅图像Ia和Ib上分别检测到的特征点a和b，A是点集b到a的单应性矩阵的线性化表示，(ATμbA)表示点集b映射到图像Ia上的点对。 μa∩(ATμbA)表示b映射到图像Ia的有效集，μa∪(ATμbA)表示b映射到图像Ia的总点集。可以用来判断匹配点的是否可以多次重复检出。那么重复率表示如下：

匹配率，为了验证匹配的效果，采用匹配率来衡量

表1 重复率统计

其中0.8d表示，基于公式d2＜0.8*d1，即最近似匹配点对欧氏距离的0.8倍大于次近似匹配的欧氏距离。

采用这个评判方式，可以初步部分筛除误匹配的情况。

召回率（recall）：指算法正确匹配的特征点对占总有效匹配特征点数的比例。召回率通常用于评价特征描述子的匹配性能。召回率越高，描述子的描述效果越好。

表2 召回率

匹配误差：采用均方根误差RMSE来评判图像特征点的匹配效率，图像运用单应性矩阵变换分析模板的特征点和检测到的新特征点之间差异的大小。

两幅图像Ia和Ib上分别检测到的特征点a和b，如果a与通过单应性矩阵映射到Ib的点之间的距离的均方根误差小于1.5，可以认为匹配转换效果满足要求。

表3 匹配误差

其中Td是特征点检测算法提取两幅图像特征点的时间。正向映射，表示输入图像Ib的特征点映射模板图像Ia上的RMSE值。反向映射，表示表示模板图像Ia的特征点映射到输入图像Ib上的RMSE值。RMSE值越小，表示特征匹配率越好。

3.3 实验测试

实验测试了多组数据，这里列举其中3组加以说明。从上至下依次是模板轮廓图、红外热成像输入图像、MSRCR增强图像、AKAZE特征匹配、输出目标提取结果。

可以看到三组实验都将目标对象从背景中抓取了出来，以便后期对目标的识别。实验内容如下所示。

图5 红外图像匹配与特定目标提取实验

4 结语

本文研究了基于AKAZE特征并结合MSRCR图像增强的红外图像目标抓取算法。采用快速近似最邻近库FLANN匹配AKAZE算法从两幅红外图像上提取的特征点。然后次用MSRCR算法对红外图像进行增强，对模板图像采用频域低通滤波去除噪声，然后使用Canny算子提取目标轮廓。最后，将输入图像投射到模板，提取出目标对象，以便后续处理。AKAZE算法较原先采用的SURF算法更为稳定，速度也更快。MSR⁃CR图像增强相比直方图均衡算法，对目标的增强更为均匀，对噪声有一定的抑制。下一步计划将可见光图像与红外图像进行配准，增加图像的细节特征。

[1]郝伟伟,张晓芳,黄宇,杨峰,郭百巍.Determining Relativeposition and Attitude of a Close Non-cooperative Target Based on the SIFT Algorithm[J/OL].Journal of Beijing Institute of Technology,2014,23（03）:390-394.

[2]Alcantarilla P F，Nuevo J，Bartoli A.Fast Explicit Diffusion for Accelerated Features in Nonlinear ScaleSpaces[C].Proceedings of British Machine VisionConference.Berlin，Germany:Springer，2013:131-142.

[3]P.F.Alcantarilla,A.Bartoli,A.J.Davison.KAZE features[C].In Eur.Conf.on Computer Vision（ECCV）,2012:214–227.

[4]Krystian Mikolajczyk and Cordelia Schmid.A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005（10）:VOL.27,NO.10.

[5]JulioZaragoza,Tat-Jun Chin,Michael SBrown.As-Projective-As-Possible Image Stitching with Moving DLT［C］.Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，2013:2339-2346．

[6]STONE H S，BO T，GUIRE M M.Analysis of Image Registration Noise Due to Rotationally Dependent Aliasing[J].Journal of Visual Communication and Image Representation，2003，14（2）:114-135．

[7]Daniel J.Jobson,Zia-ur Rahman,Glenn A.Woodell.A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes[J].IEEE Transactions on Image Processing,Vol.6,No.7,JULY 1997.

[8]Sunglok Choi，Taemin Kim，Wonpil Yu．Performance Evaluation of RANSAC Family[C].Proceedings of British Machine Vision Conference.Berlin，Germany:Springer，2009:1-12.

[9]LU F，WU ZH ZH，XIANG L.Fast Image Diffusion for Feature Detection and Description[J].InternationalJournal of Computer Theory sand Engineering，2016，8（1）:58-62．

[10]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints.International Journal of Computer Vision,2004（5）.

[11]Muja M，Lowe D G.Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration[C].Proceedings of the 4th International Conference on Computer Vision Theory and Applications.Berlin，Germany:Springer，2009:213-220.

[12]ZHENG Y B，HUANG X SH，FENG S J.An Image Matching Algorithm based on Combination of SIFT and Therotation Invariant LBP[J].Journal of Computer-AidedDesign&Computer Graphics，2010，22（2）：286-292．

[13]郑永斌，黄新生，丰松江.SIFT和旋转不变LBP相结合的图像匹配算法[J].计算机辅助设计与图形学学报，2010，22（2）：286-292．

[14]李莹.基于Retinex理论的图像增强算法研究[D].西北大学,2014.

[15]王宇.长线列红外中长波图像融合关键技术研究[D].中国科学院研究生院（上海技术物理研究所）,2014.

[16]赵振兵,王琴,余萍,王飒飒.基于BEMD的电力设备红外与可见光图像的配准研究[J].电力系统保护与控制,2011,39（23）:25-29.[2017-09-29]