基于聚类分析的红外图像配准算法

摘" 要： 为提高图像处理的精度和效率，并扩展红外图像在实际应用中的使用范围，提出一种基于聚类分析的红外图像配准算法。该算法先构建红外图像观测模型，利用该模型描述理想的红外图像与实际红外图像之间的关系，得到低分辨率的实际红外图像；然后使用最大后验估计方法对低分辨率红外图像进行超分辨率重建；接着以超分辨率重建后的红外图像为基础，利用Harris角点检测算法提取红外图像内角点特征并建立红外图像配准特征集，通过K⁃means聚类算法对红外图像角点特征之间距离、方向特征向量夹角进行计算；最后选择聚类中心，并依据角点特征距离与方向特征向量夹角对红外图像角点特征进行聚类处理，得到红外图像配准结果。实验结果表明：所提算法对低分辨率红外图像的超分辨率重建效果较好，可有效提取红外图像内的角点特征，并实现不同红外图像配准，应用效果较佳。

关键词： 红外图像； 配准算法； 聚类分析； 观测模型； 角点特征； Harris角点检测； K⁃means聚类算法

中图分类号： TN911.73⁃34； TP391" " " " " " " " " "文献标识码： A" " " " " " " " " 文章编号： 1004⁃373X（2024）24⁃0115⁃05

Infrared image registration algorithm based on cluster analysis

ZHANG Xiaoyu

（Xinjiang University of Finance and Economics， Urumqi 830012， China）

Abstract： In order to the accuracy and efficiency of image processing， and expand the application range of infrared images in practical applications， a clustering analysis based infrared image registration algorithm is proposed. In this algorithm， an infrared image observation model is constructed， the relationship between ideal infrared image and actual infrared image is described by this model， and the actual infrared image with low resolution is obtained. The maximum a posteriori estimation method is used to reconstruct the low resolution infrared image. Based on the infrared image reconstructed with super resolution， the Harris corner detection algorithm is used to extract the internal corner features of the infrared image and establish the infrared image registration feature set. The distance and direction feature vector angle between corner features in infrared images are calculated by means of the K⁃means clustering algorithm. The infrared image registration results are obtained by selecting the cluster center and clustering the infrared image corner features according to the angle between the corner feature distance and the direction feature vector. The experimental results show that the proposed algorithm has good effect on super⁃resolution reconstruction of low resolution infrared images， can effectively extract corner features in infrared images， effectively realize different infrared image registration， and has good application effect.

Keywords： infrared image; registration algorithm; cluster analysis; observation model; corner feature; Harris corner detection; K⁃means clustering algorithm

0" 引" 言

红外图像配准算法是图像处理领域中的一个重要研究方向，旨在通过一定的算法将不同时间、不同视角或不同传感器获取的红外图像进行精确对齐，从而实现对目标物体的准确识别与定位。红外图像配准算法的研究面临着诸多挑战，如图像噪声干扰、目标遮挡、视角变化等问题，这些都可能导致配准精度下降[1⁃2]。因此，如何设计一种高效、鲁棒性强的红外图像配准算法成为了当前研究的热点。目前也有很多学者研究红外图像配准方法，如文献[3]提出改进AKAZE算法图像配准方法。该方法利用改进AKAZE算法建立红外图像非线性尺度空间，然后提取红外图像内的特征点，运用基于网格的运动估计方法对红外图像特征点进行匹配。红外图像往往受到各种噪声和干扰的影响，如热噪声、背景辐射等，这些噪声和干扰会干扰特征点的提取和匹配过程，导致匹配精度下降。文献[4]提出一种高效和稳健的图像配准方法，该方法提取红外图像特征后，先消除红外图像的尺度、旋转和平移差异，再使用联合点特征匹配的方式实现红外图像配准。尽管在算法中尝试消除红外图像的尺度、旋转和平移差异，但由于实际图像中可能存在的复杂变换或噪声干扰，这些差异的消除并不完全，这种残余的差异会对特征匹配产生负面影响，导致匹配精度下降。文献[5]提出NSCT轮廓与主方向一致的图像配准方法，该方法利用NSCT变换方式提取红外图像内的轮廓曲线，再使用CSS角点检测方法提取红外图像内轮廓曲线特征点，然后依据特征点主方向对红外图像进行配准处理。由于红外图像的纹理和细节信息相对较少，会导致CSS角点检测方法无法准确地检测出轮廓曲线的特征点，导致特征点主方向不确定，进而降低配准精度。文献[6]提出边缘结构特征的图像配准方法，该方法分别提取红外图像和可见光图像的边缘结构特征后，使用ORB算法生成边缘结构特征描述子，利用几何变换方式对红外图像进行变换，使其与可见光图像在空间上对齐，实现图像的配准。ORB算法虽然具有较快的运算速度和较好的实时性能，但在某些情况下，其对于特征点的描述可能不够精确或稳定。特别是在红外图像中，由于目标的纹理和颜色信息相对较少，ORB算法可能无法有效地描述和匹配特征点，从而导致匹配精度下降。

聚类分析是一种重要的数据分析方法，它将物理或抽象对象的集合分组为由类似的对象组成的多个类。目标是基于相似性对数据进行分类[7]，使得同一类别内的数据尽可能相似，不同类别间的数据尽可能不同。本文以聚类分析算法为基础，提出一种基于聚类分析的红外图像配准算法，为红外图像在多领域应用提供一种图像处理技术。

1" 红外图像配准算法

1.1" 红外图像观测模型构建

红外光的波长较长，通常在可见光的波长范围之外，因此相同的探测器尺寸下所包含的像素数量就会减少[8]，这导致红外摄像机与可见光摄像机相比，其拍摄的红外图像通常具有较低的分辨率。为此，本文构建一种红外图像观测模型，用来描述理想的红外图像与实际红外图像时间的关系。

令[q]表示实际红外图像，[D]表示该红外图像的下采样矩阵，则该红外图像的观测模型公式如下：

[q=DBz+δ] （1）

式中：[z]表示待重建的高分辨率红外图像；[B]表示[q]的模糊矩阵；[δ]表示加性噪声。

对公式（1）内的下采样矩阵和模糊矩阵进行合并处理，得到实际红外图像[q]的退化矩阵，则红外图像观测模型公式如下：

[q=Hz+δ] （2）

式中[H]表示实际红外图像[q]的退化矩阵。

公式（2）描述了实际红外图像由高分辨率退化成低分辨率的过程。

1.2" 基于最大后验估计的红外图像超分辨率重建

最大后验估计是一种强大的参数估计方法，通过融入先验知识，能够在给定数据的情况下更准确地估计参数[9]。在此运用最大后验估计方式，对1.1节低分辨率的红外图像进行超分辨率重建处理。

以公式（2）结果作为前提条件，使高分辨率红外图像[x]出现的后验概率数值最大，公式为：

[z=argmaxzPr（zq）] （3）

式中：[z]表示超分辨率重建后的红外图像；[Pr（zq）]表示高分辨率红外图像[z]出现的后验概率。

将公式（3）改写成贝叶斯形式，公式如下：

[z=argmaxzPr（zq）Pr（q）×1Pr（q）] （4）

式中：[Pr（z）]、[Pr（q）]分别表示高分辨率红外图像[z]和低分辨率红外图像[q]的后验概率。

由于低分辨率红外图像[q]的后验概率对高分辨率红外图像的[z]估计不影响[10⁃11]，则公式（4）可改写为：

[z=argmaxzPr（zq）Pr（z）] （5）

式（5）描述了高分辨率红外图像在低分辨率红外图像中出现的概率密度。通过公式（3）可知，[Pr（zq）=Pr（δ）]，表示红外图像观测模型内含有的噪声。

令红外图像观测模型内的噪声均值为0，噪声的方差由[σ2]表示，则高分辨率红外图像[z]出现的后验概率表达式如下：

[Pr（zq）=1σ22πexp-q-Hz2×12σ2] （6）

使用拉普拉斯先验描述高分辨率图像的概率[12]，公式如下：

[Pr（z）=exp-λ2z2] （7）

式中[λ]表示控制分布宽度的超参数。

结合式（6）、式（7），超分辨率重建后的红外图像最终计算公式如下：

[z=argmaxzq-Hz2+λz2] （8）

利用公式（8）得到超分辨率重建后的红外图像，为后续红外图像配准提供较为清晰的红外图像。

1.3" 基于Harris角点检测算法的红外图像匹配角点特征提取

Harris角点检测算法是图像处理中提取特征的算法之一，本文运用Harris角点检测算法提取红外图像匹配角点特征，其详细实现过程如下。

以公式（8）结果为基础，令[E（u，v）]表示超分辨率重建后红外图像[z]窗口内像素灰度，其中[u]、[v]表示像素横纵坐标。[E（u，v）]公式如下：

[E（u，v）=x，yw（x，y）Φ（x+u，y+v）2-Φ（x，y）2] （9）

式中：[w（x，y）]表示超分辨率重建后红外图像[x]的窗口函数，其中[x]、[y]为窗口坐标；[Φ（x，y）]表示红外图像的灰度函数。

式（9）中，希望寻找到使[E（u，v）]数值尽可能大的红外图像像素点。在不考虑窗口函数[13]的情况下，将公式（9）等号右侧进行泰勒展开，则有：

[Φ（x+u，y+v）=Φ（x，y）+Φxu+Φyv+O（u2，v2）] （10）

式中：[Φx]、[Φy]分别表示像素在横纵坐标[u]、[v]位置展开后的梯度；[O（u2，v2）]表示泰勒展开后的余项。

将公式（10）代入到公式（9）内，则有：

[E（u，v）= Φ2xΦxΦyΦxΦyΦ2yuv] （11）

[u，v]描述Harris角点检测过程中微小移动量，则公式（11）可近似表达为：

[E（u，v）≈u，vGuv] （12）

式中[G]是实对称矩阵。在该矩阵内的红外图像特征值与交点、边缘直线等均存在一定关系，当矩阵[G]内有2个特征值均较小，且特征数值较为接近[14]，则说明这2个特征点对应的红外图像区域为平滑区域；当2个特征值之间差值较大，则表明这2个特征值区域对应的是红外图像边缘。当2个特征点数值差值较小，但数值均较大时，说明这2个特征点为红外图像内的角点，该角点可作为红外图像配准的一个特征点。在实际红外图像配准过程中，为降低运算的复杂度，定义红外图像角点响应函数公式如下：

[R=det（G）-k·trace2（G）] （13）

式中：[R]表示红外图像角点响应函数；[k]表示常数项；[trace（G）]表示矩阵[G]的迹；[det（G）]表示矩阵[G]的行列式。

通过公式（13）即可得到红外图像内的角点特征。

1.4" 基于K⁃means聚类分析的红外图像配准实现

聚类分析方法包括层次分析法、密度法等，其中K⁃means算法是依据距离实现聚类的分析方法，在实际应用中具有运算速度快、受数据维度影响较小等优点[15]。本文运用聚类分析方法中的K⁃means聚类算法实现红外图像配准，其详细实现过程如下。

令[Φ1]、[Φ2]表示任意两幅红外图像的灰度梯度，这两幅红外图像的匹配窗口大小为[n×n]，其中红外图像1的角点特征由[Ri]，[i=1，2，…，m1]表示，红外图像2的角点特征由[Rj]，[j=1，2，…，m2]表示，角点特征的横纵坐标由[（u，v）]表示，则这2幅红外图像的待配准的特征点[i]和[j]坐标分别为[（u1i，v1i）]和[（u2j，v2j）]。然后使用归一化互相关函数描述[（u1i，v1i）]和[（u2j，v2j）]之间的相关程度，公式如下：

[Mij=m=-（n-1）2（n-1）2 n=-（n-1）2（n-1）2Φ1（m+u1i，n+v1i）-Φ1（u1i，v1i）·" " " " " " " " " " " " " " " " "Φ2（m+u2j，n+v1j）-Φ2（u2j，v2j）m=-（n-1）2（n-1）2 n=-（n-1）2（n-1）2Φ1（m+u1i，n+v1i）-Φ1（u1i，v1i）2·" " " " " " " " " " " n=-（n-1）2（n-1）2Φ1（m+u1i，n+v1i）-Φ1（u1i，v1i）2] （14）

式中：[Φ1（u1i，v1i）]、[Φ2（u2j，v2j）]表示2幅红外图像灰度梯度均值；[Mij]表示角点特征[Ri]和[Rj]的相关程度。当[Mij]数值较大时，说明角点特征[Ri]和[Rj]的相关程度较高，选择相关程度较高的红外图像角点特征组成红外图像配准点集[R']。[R']公式如下：

[R'=Ri，Rj] （15）

式中：[Ri]、[Rj]为红外图像内待配准的一组角点特征。令这两个特征角点的距离为[dist（Ri，Rj）]，其计算公式如下：

[dist（Ri，Rj）=（Rix-Rjx）2-（Riy-Rjy）2] （16）

式中：[Rix]、[Riy]和[Rjx]、[Rjy]分别表示[Ri]和[Rj]在坐标系内[x]、[y]方向上的数值。

令[angle（Ri，Rj）]表示红外图像角点特征配准方向特征向量的夹角，其计算公式如下：

[angle（Ri，Rj）=arctanRiy-Rjy·1Rix-Rjx] （17）

在利用K⁃means聚类分析方法对红外图像进行配准时，将红外图像角点特征配准方向特征向量的夹角小于10°且角点距离较小的角点特征聚类为一类，最终实现红外图像配准，其详细实现过程如下。

Step1：运用公式（14）对红外图像待配准角点特征进行相关程度计算，将相关程度较高的角点特征划分为聚类特征集。

Step2：利用公式（16）计算两个待配准角点特征距离，当该角点特征距离小于预设的距离阈值[Γ]时，将该距离作为聚类中心，将满足距离阈值的角点划分为一个类簇；反之则重新选择新聚类中心，经过上述过程，得到满足聚类分析条件的[c]个类簇。

Step3：在满足聚类分析条件的[c]个类簇基础上，运用公式（17）计算每个类簇内红外图像配准角点特征的特征向量夹角，将夹角数值小于10°的角点特征划分为一个类簇；去除类簇内不满足特征向量夹角条件的冗余角点特征。

Step4：经过Step1～Step3反复迭代，当聚类分析类簇不在发生变化或者满足迭代次数后，输出当前聚类结果，该聚类结果内的角点特征满足红外图像配准条件，实现红外图像配准。

2" 实验结果与分析

红外图像应用领域较为广泛，本文中多个领域的1 000幅红外图像建立的红外图像数据集作为实验对象，运用算法对这1 000幅红外图像进行配准，分析并验证算法的实际应用效果。以红外图像数据集内某幅红外图像作为实验对象，使用本文算法对其进行超分辨率重建处理，结果如图1所示。

分析图1可以明显看出，原始红外图像受到大量干扰噪声的影响，整体图像显得较为模糊。特别是图像中设备的边界，由于噪声的干扰，其边缘并不清晰，这在故障检测、设备在线监控等应用中无疑会大大降低效果。然而，经过本文算法对该红外图像进行超分辨率重建后，效果显著提升，图像中设备的边缘变得清晰锐利，原本困扰的干扰噪声也被有效去除。这一显著改进不仅提升了红外图像的视觉效果，更为后续的图像配准工作提供了高质量的图像基础。本文算法展现出的强大红外图像超分辨率重建能力，无疑为红外图像处理领域注入了新的活力。提取红外图像角点特征是实现红外图像配准的基础，以红外图像集内的某幅红外图像作为实验对象，使用本文算法提取其角点特征，提取结果如图2所示。

分析图2，本文算法在红外图像角点特征提取上展现出显著效果。图中，红外图像的角点特征被精确提取，并以矩形框清晰标识，这些角点特征为后续的红外图像配准提供了重要依据。采用本文算法，红外图像的角点特征得以准确捕捉，为后续图像配准工作打下了坚实基础。该方法的应用将有助于提高红外图像配准的精度和效率，为相关领域的研究和应用提供有力支持。以2幅人脸红外图像作为实验对象，对其进行红外图像配准处理，配准结果如图3所示。

分析图3可以清晰地看到，运用本文算法后，红外图像配准取得了显著效果。在配准结果中，面部区域的角点特征均实现了精准匹配，这充分证明了2幅人脸图像所展现的人物为同一人。本文算法不仅能够有效提取红外图像中的角点特征，还能通过精确匹配这些特征点，实现高质量的图像配准。这一成果不仅展示了本文算法在人脸红外图像配准方面的强大能力，也为其在安防监控、身份识别等领域的应用提供了有力支撑。综上所述，本文算法具备优秀的人脸红外图像配准能力，其应用效果较为显著。以2幅电力设备红外图像作为实验对象，使用本文算法对其进行配准处理，配准结果如图4所示。

分析图4可知，本文算法在设备红外图像配准方面同样表现出色。通过精准获取设备的角点特征，依据这些特征点进行配准，有效提升了图像配准的准确性和稳定性。这一方法的应用，为设备监测、故障识别等领域提供了强有力的技术支持。无论是设备的微小变化还是故障征兆，都能通过本文算法得到及时准确地识别和判断，为设备的运行维护提供了重要保障。在采集红外图像时，受采集设备视角影响，采集的红外图像会存在不同程度的遮挡，以红外图像配准精度作为衡量指标，测试在红外图像遮挡程度不同情况下，本文算法对红外图像的配准能力，同时使用文献[5]的NSCT轮廓与主方向一致性图像配准方法和文献[6]的边缘结构特征图像配准方法进行对比，测试结果如表1所示。

由表1可知在对比的三种方法中，本文算法在红外图像遮挡程度相同的情况下，展现出了最高的配准精度数值。说明本文算法在配准红外图像时，受图像遮挡程度的影响较小，其配准的稳定性和准确性均表现出色。在实际应用和理论研究上，本文算法都展现出了较强的应用性能，为红外图像配准领域的发展做出了积极贡献。

3" 结" 论

本文提出一种基于聚类分析的红外图像配准算法，在图像处理领域展现出了显著的优势。通过聚类分析，算法能够有效地提取图像中的特征信息，实现精确的对齐与匹配。在图像处理技术不断发展背景下，未来该算法有望在更多领域得到应用，为红外图像处理技术的发展注入新的活力。总体而言，基于聚类分析的红外图像配准算法是一项具有重要意义的技术创新，对于提升图像处理的效率和精度具有重要的推动作用。

参考文献

[1] 黄超，郭浩，高岩，等.基于栈式自编码网络的非线性变化灰度差异图像配准[J].激光与光电子学进展，2021，58（16）：233⁃239.

[2] 任永强，吕华鑫，晏文彬，等.一种基于PCB板图像配准优化算法[J].合肥工业大学学报（自然科学版），2022，45（10）：1305⁃1309.

[3] 赵卫东，刘俊德，王慢慢，等.基于改进AKAZE算法的快速图像配准方法[J].激光与光电子学进展，2023，60（6）：90⁃96.

[4] BOCK F， GRUBER A， LEOPOLD K， et al. Efficient and robust image registration for two⁃dimensional micro⁃X⁃ray fluorescence measurements [J]. Journal of analytical atomic spectrometry， 2023， 38（5）： 1021⁃1031.

[5] 段琳锋，侯新国，胡致远.NSCT轮廓与主方向一致性红外与可见光图像配准[J].电光与控制，2022，29（6）：1⁃5.

[6] 徐海洋，赵伟，刘建业.基于边缘结构特征的红外与可见光图像配准算法[J].红外技术，2023，45（8）：858⁃862.

[7] 郭璠，李小虎，朱洪，等.基于sMLD特征的远红外航空图像配准算法[J].红外与毫米波学报，2023，42（4）：558⁃567.

[8] 杨冰超，王鹏，李晓艳，等.基于模态转换结合鲁棒特征的红外图像和可见光图像配准[J].激光与光电子学进展，2022，59（4）：180⁃189.

[9] 陈磊，陈颖，李文举，等.残差块改进暹罗网络的遥感图像配准[J].计算机仿真，2022，39（3）：224⁃229.

[10] 陈彤，郭剑锋，韩心中，等.基于生成对抗模型的可见光⁃红外图像匹配方法[J].浙江大学学报（工学版），2022，56（1）：63⁃74.

[11] 付添，邓长征，韩欣月，等.基于深度学习的电力设备红外与可见光图像配准[J].红外技术，2022，44（9）：936⁃943.

[12] 王洪淼，杨健，殷君君.基于Wishart梯度和SIFT方法的极化SAR图像配准[J].中国科学：信息科学，2022，52（4）：687⁃699.

[13] 汪崟，蒋峥，刘斌.具有局部自适应阈值的SIFT快速图像匹配算法[J].液晶与显示，2024，39（2）：228⁃236.

[14] 薛庆，杨树文，闫恒，等.基于SIFT与互信息筛选优化的遥感影像配准[J].遥感技术与应用，2022，37（5）：1209⁃1216.

[15] 宋智礼，张家齐，熊亮，等.利用风格迁移和特征点的多模态图像配准算法[J].遥感信息，2021，36（1）：1⁃6.

作者简介：张晓宇（1981—），男，安徽蚌埠人，硕士研究生，高级实验师，主要从事计算机视觉技术研究工作。