基于变电站多模图像的自动集成配准方法

夏英杰，李金屏，陈 瑞

(1.济南大学信息科学与工程学院，济南250022;2.济南大学山东省网络环境智能计算技术重点实验室，济南250022;3.中国兵器工业集团第53研究所仿真与信息中心，济南250032)

当前国内外有很多对于多模态图像配准技术的研究，在相关文献中也提出了很多配准方法。Woods在配准MRI－PET图像时提出了划分强度一致性(PIU)测度［1］，但是PIU测度没有考虑图像间像素灰度值之间的相关性;文献［2］对PIU测度进行了改进。Collignon等［3］和Viola等［4］分别独立地将互信息引入图像配准领域，该方法在医学图像处理方面引起了人们广泛的研究兴趣［5－6］，是目前使用最广泛的多模态图像配准方法之一。2003年，王东峰等［7］提出基于对齐度准则的配准方法，在多模态医学图像和遥感图像的配准方面引起了人们的关注［8－9］。对齐度方法无需定义特征点，可以解决灰度非线性相关、灰度直方图差异很大的两幅图像的配准。此外，还有其他的一些配准方法和测度，例如基于算术－几何均值距离的配准测度［10］、基于Cauchy－Schwarz距离的配准测度［11］等。但这些方法和测度大都是针对某种特定的应用而独立进行研究的，因此配准方法虽然较多，但却不成体系，没有绝对的评价标准，很难评价配准方法之间的优劣关系。文献［12］提出了一种基于动态可信度的集成配准方法，但主要是针对尺寸相同或接近相同的红外图像和相应的可见光图像。

本文在文献［12］方法的基础上，提出了一种新的多模态图像的自动集成配准方法。实验结果证明，该方法能实现不同尺寸的多模态图像的自动配准，且速度较快，准确性高，鲁棒性强。

1 算法思路

实验图像采用变电站巡检机器人采集到的红外图像和相应的可见光图像，但其分辨率不同，尺寸也不一致。红外图像中的全部场景信息仅是可见光图像中的一部分，但图像尺寸比可见光图像大。为了提高配准速度，首先对采集到的每组图像进行小波分解。以分解后得到的概貌图像为待配准的图像，以文献［12］中的六种方法为适应度函数，分别利用遗传算法进行搜索，寻找两幅多模态图像的最佳配准位置，最后利用动态可信度方法进行集成。

2 小波变换

为了提高配准速度，首先对采集到的图像进行小波分解。小波分解后，保留了配准图像的主要信息，而宽度和高度缩为原来的1/2，大大提高了配准速度。本文使用db1小波对红外图像和相应的可见光图像进行db1小波分解，结果如图1所示。

图1(a)是可见光图像的小波分解结果，图1 (b)是红外图像的分解结果。

图1 小波分解结果Fig.1 Result of wavelet decom position

3 配准方法

3.1 基于互信息的多模图像配准

基于互信息的多模图像配准方法需要首先计算两幅对应图像的熵和联合熵。主要公式如下

两幅图像的互信息为

3.2 基于对齐度的多模图像配准

假设给定两幅进行配准的图像I1(x，y)和I(x，y)，其中I1(x，y)为配准图像，I(x，y)为待配准图像。I1(x，y)经过尺寸调整后，其大小为M× N。在配准时，以I1(x，y)左下角顶点为基准，在I(x，y)中进行移动。设I1(x，y)在I(x，y)中移动时对应的图像块为I2(x，y)，计算I1(x，y)与相应图像块I2(x，y)的对齐度。算法主要公式如下

P2(n)，E21(n)(n)同理可得。式中: H1(n)和H2(n)是两幅图像的灰度级统计;P1(n)和P2(n)是灰度n在图像中出现的比率;和是两幅图像的像素灰度方差;E12(n)(E21(n))和(n)((n))是两幅图像中一幅图像相对于另一幅图像灰度值为n的对应像素集合的灰度均值和方差是以比率P1(n)(P2(n))对方差(n)((n))进行加权平均得到的期望方差;CI是两幅图像的交互方差，对齐度AM是CI的倒数。

3.3 基于动态可信度的集成配准方法

实验发现，采用单一的图像配准方法配准准确率不高。而各种方法配准错误的图像又不完全相同，因而具有一定的互补性。如果能将各种方法结合起来集成考虑，则可大大提高配准的准确率。本文以互信息与对齐度的方法为基础，加入边缘检测和均衡化技术，得到了互信息直接配准、边缘检测后互信息配准、均衡化后互信息配准、对齐度直接配准、边缘检测后对齐度配准、均衡化后对齐度配准六种配准方法。为了衡量不同方法在集成时的重要性，本文使用了文献［12］中提出的动态可信度的概念。

式中:Ci是第i种方法的可信度;pi是用该方法对多组多模图像进行配准后所得到的配准错误率，i的取值为1至6。各种方法的可信度是随着使用该方法进行图像配准而动态变化的，即每组多模图像配准后，就重新计算各种方法的可信度，使其更趋于一般性和稳定性。在实验时将这六种方法的初始可信度都置为1/6，然后利用这六种方法分别对多组多模图像进行配准，再计算各种方法的错误率，并不断修正其可信度。

在使用集成配准方法时，首先利用以上六种方法对多模图像进行配准。当六种配准方法的结果不完全一致时，使用少数服从多数的原则，将结果相同的方法的可信度累加，认为可信度之和大的配准结果为正确的配准结果。

4 遗传算法

变电站巡检机器人采集到的红外图像和相应的可见光图像分辨率不同，尺寸不一致。红外图像包含场景信息少，但图像尺寸比可见光图像大。因此，假设两幅图像之间存在一个旋转平移缩放变换T(Tx，Ty，Txs，Tys，Tθ)。由于实际拍摄的图像基本没有旋转变换，或旋转基本可忽略不计，又因为互信息和对齐度配准是一种按像素顺序进行的穷举式搜索，所以不必考虑平移变换，因此，变换T简化为T(Txs，Tys)。在本方法中，以六种方法作为适应度函数，遗传算法采用浮点数编码，通过多次迭代得到最优解T，即最合适的参数Txs和Tys，使一幅图像经过变换T(Txs，Tys)后得到的图像与另一幅图像的相似度最大。

在遗传算法迭代中，设定种群规模为50，交叉率初始值为0.2，变异率初始值为0.002，迭代结束条件为连续几代的最优解相同。选择操作采用轮盘赌方式，交叉操作采用单点交叉，变异操作按下式进行:

5 实验结果分析

本文对红外图像和相应的可见光图像进行配准，其中可见光图像为待配准图像，红外图像为配准图像，红外图像的尺寸均为128×100像素，可见光图像的尺寸均为217×188像素。实验用计算机的配置是Pentium(R)Core i5 CPU 3.2 GHz，内存4 GB。在基本没有旋转变换和较大形变的情况下，采用以上六种方法和集成配准方法，对随机选择的70组红外图像和可见光图像进行了配准。各种方法配准结果的准确率如表1所示。

表1 各种方法配准结果准确率的比较Table 1 The com parison of the success ratio at the different registration methods

由表1可见，采用动态可信度的集成配准方法，比任意单一的配准方法准确率都高，并且随着集成配准方法配准次数的增加，结果的准确率将趋于稳定。

图2给出了一组红外图像和相应的可见光图像的六种方法的配准结果。图2(a)为直接互信息配准，图2(b)为边缘检测后互信息配准，图2(c)为均衡化后互信息配准，图2(d)为直接对齐度配准，图2(e)为边缘检测后对齐度配准，图2(f)为均衡化后对齐度配准。出现的错误配准，主要是因为部分红外图像有些模糊，灰度层次上有比较接近的区域。

图2 六种配准方法的结果Fig.2 Results of six registration methods

6 结束语

本文将采集到的红外图像和相应的可见光图像进行小波分解的结果作为待配准图像，使用六种配准方法，结合遗传算法，分别对其进行配准，然后利用动态可信度将配准结果进行集成。实验结果证明，该方法准确率高，鲁棒性强，可信度可动态变化，适应性强。实验中使用的图像尺寸不大，但大尺寸图像同样可以使用该方法进行处理，只不过小波分解的次数增加，使用遗传算法配准后需进一步计算精确的配准位置。当然，实验方法也存在着不足之处，例如实验图像基本没有旋转和较大的形变，情况相对比较简单。今后将对这些问题进行更深入的研究。

［1］Woods R P，Mazziotta JC，Cherry SR.MRI－PET registration with automated algorithm［J］.Journal of Computer Assisted Tomography，1993，17(4):536－546.

［2］时永刚，刘小军，王东峰，等.多模态图像配准的配准测度和性能分析［J］.电子与信息学报，2004，26 (11):1706－1713.

Shi Yong－gang，Liu Xiao－jun，Wang Dong－feng，et al. Performance analysis of registration measures formultimodal image registration［J］.Journal of Electronics and Information Technology，2004，26(11):1706－1713.

［3］Collignon A，Maes F，Delaere D，etal.Automated multimodality image registration based on information theory［C］//Proc.of the Information Processing in Medical Imaging Conference，1995:263－274.

［4］Viola P A，Wells W M III.Alignment by maximization ofmutual information［J］.International Journalof Computer Vision，1997，24(2):137－154.

［5］Pluim JPW，Maintz JB A，Viergever M A.Image registration by maximization of combined mutual information and gradient information［J］.IEEE Transactions on Medical Imaging，2000，19(8):809－814.

［6］张二虎，卞正中.基于最大熵和互信息最大化的特征点配准算法［J］.计算机研究与发展，2004，41(7): 1194－1199.

Zhang Er－hu，Bian Zheng－zhong.A new robust point registration algorithm by maximization of entropy and mutual information［J］.Journal of Computer Research and Development，2004，41(7):1194－1199.

［7］王东峰，邹谋炎.基于最大化对齐度的多模态图像自动配准［J］.电子与信息学报，2003，25(6):755－762.

Wang Dong－feng，Zou Mou－yan.Automatic registration ofmulti－modal images based on themaximization of the alignmentmetric［J］.Journal of Electronics and Information Technology，2003，25(6):755－762.

［8］葛永新，杨丹，张小洪.基于边缘特征点对对齐度的图像配准方法［J］.中国图象图形学报，2007，12 (7):1291－1295.

Ge Yong－xin，Yang Dan，Zhang Xiao－hong.A new method for image registration based on alignmentmetric of edge feature points［J］.Journal of Image and Graphics，2007，12(7):1291－1295.

［9］Xia Ying－jie，Yin Jian－qin，Chen Rui.An automatic registrationmethod formulti－modal images based on alignmentmetric［C］//The 3rd International Conference on Computer Design and Applications，2011:181－184.

［10］时永刚，邹谋炎.基于算术－几何均值距离的多模态图像配准［J］.光学技术，2004，30(4):409－412，416.

Shi Yong－gang，Zou Mou－yan.Novel similaritymeasure based on arithmetic－geometric mean distance formultimodal image registration［J］.Optical Technique，2004，30(4):409－412，416.

［11］时永刚.新的Cauchy－Schwarz距离函数与多模态医学图像配准［J］.光学技术，2005，31(5):684－697，690.

Shi Yong－gang.Novel divergence measure based on Cauchy－Schwarz formultimodalmedical image registration［J］.Optical Technique，2005，31(5):684－697，690.

［12］Xia Ying－jie，Chang Xiao－li，Chen Rui，etal.A synthetic registrationmethod formulti－modal images based on dynamic credibility［C］//International Conference on Computer Application and System Modeling，2010:140－144.