自适应阈值Harris算法遥感图像配准的FPGA实现

汪强 郭来功

摘要：针对Harris角点检测器响应值R的阈值选择而导致角点失真问题，文章提出了一种基于现场可编程门阵列（FPGA）的自适应Harris角点检测器实现遥感图像的配准方式。该方式依据非最大值抑制（NMS）处理后的响应值对阈值进行实时变化。实验结果显示，优化架构在硬件资源仅增加2.76%的情况下，准确率相应提升了8.31%。因此，文章提出的遥感图像配准架构适用于硬件资源有限的平台。

关键词：Harris角点检测器；FPGA；非最大值抑制（NMS）；遥感图像配准

中图分类号：TP391  文献标志码：A

0 引言

在众多的计算机视觉应用中，Harris角点检测被视为关键的预处理技术，例如特征识别、动态追踪、图像配准、3D模型构建等。在众多常用的计算方法中，选择合适的阈值通常会对最终结果产生长远和深刻的影响。但是，在Harris算法的应用中，阈值的选择只能依赖于个体的经验判断［1］。过高的阈值不仅可能导致角点信息的丢失，还可能引发伪角点的出现；较低的阈值不仅导致角点质量的下降，还会提高其对噪声的敏感性［2］。潘聪等［3］通过消除伪角点的方法，成功地实施了基于FPGA的Harris角点自适应阈值检测。本研究在其基础上，对自适应阈值算法进行了优化，并利用FPGA将其成功应用于遥感图像配准技术中。

2 硬件实现架构

遥感图像配准的硬件实现架构如图1所示，依次通过导数生成模块、高斯滤波模块、角点获得模块（角点提取和非最大值抑制）和优化后的自适应阈值模    块，以实现遥感图像角点的提取。至于图像配准部分，本次实验选择了特征法和区域法。

2.1 导数生成模块

导数生成器分别计算每一个像素水平方向和垂直方向的导数及其乘积［3］。先读取SDRAM存储器中图像灰度数据，再用IP核的加法器、减法器和乘法器来实现I2x、I2y和IxIy值的计算。其中，设置这3个数值的输出位宽为32。

2.2 高斯滤波模块

对上一步计算得到的3幅梯度图像进行高斯平滑处理，得到3个高斯值。高斯滤波模块窗口大小设置为3×3，主要由X方向和Y方向进行。其中，图像在FPGA中是逐行输出的，因此需要通过延迟的方式来获得3×3窗口内的9个图像像素值。其中实验输入的遥感图像大小为128×128，对图像的第一二行分别进行128延迟和256延迟［5］。

2.3 角点获得模块

将高斯滤波得到的3个高斯值代入公式（7），得到遥感图像中每一个像素的Harris角点响应函数值R，其中R为该局部区域的最大值［6］。其计算需要完成3个乘法计算，并保存至寄存器中，其中乘以参数k（设k = 0.06）的计算，使用算数右移来完成。同时避免造成角点团簇现象，R需要非最大值抑制（NMS），即去除一些較小值，将其中一些大于阈值的R输出进行后一级的角点配准功能［5］。

2.4 自适应阈值模块

阈值的选择对图像候选角点的质量也有很大影响。寻找理想阈值需要在未检测到的真角和检测到的假角之间进行权衡比较，这个阈值因图像而异［7］。本文设计的自适应模块结构如图2所示，依据NMS后角点数量值N，分3个区间对阈值进行调节，同时利用简单地左右移1个单位以实现P值的乘除法，其中P取2.2×10-7。

2.5 遥感图像配准模块

特征法是通过图像中的特征点来进行图像的配准操作。核心的步骤包括：首先从2张图片中抽取特征点或描述特征的子项。再对2张图片中的特征点或描述子项进行匹配，以确定它们之间的匹配关系。依据所识别的相应关联，进行图像变换矩阵的计算。最后，对其中一张图像执行变换操作，确保2张图像在空间维度上达到配准状态。至于后2步通常采用最小二乘法来进行问题的解决，这样就可以达到图像的精确配准。

3 仿真验证与分析

该部分采用FPGA和MATLAB对比的方式进行。其中，FPGA采用Intel（Altera）公司Cyclone Ⅳ E系列的EP4CE15F23C6型开发平台，开发环境为Quartus II 18.0，使用Verilog HDL完成数据流的描述。遥感图像配准仿真对比结果如图3—5所示。

4 结语

本文提出的基于FPGA的自适应阈值Harris特征提取和遥感图像配准架构，以NMS为载体，改进自适应阈值模块，在FPGA占用资源增加2.76%的情况下，适度提高了遥感图像角点检测速度和配准精度。

参考文献

［1］孙万春.基于视频的公共场所人数统计研究［D］.重庆：重庆理工大学，2018.

［2］孙万春，张建勋，朱佳宝，等.S-Harris：一种改进的角点检测算法［J］.重庆理工大学学报（自然科学），2018（10）：156-161.

［3］潘聪，黄鲁.基于FPGA的自适应阈值Harris角点检测硬件实现［J］.微型机与应用，2016（19）：44-46，49.

［4］SIKKA P，ASATI A R，SHEKHAR C.Real time FPGA implementation of a high speed and area optimized Harris corner detection algorithm［J］.Microprocessors and Microsystems，2021（2）：1-6.

［5］王跃霖.基于FPGA的动态目标检测与跟踪系统的研究［D］.兰州：兰州交通大学，2018.

［6］闫小盼，敖磊，杨新.Harris角点检测的FPGA快速实现方法［J］.计算机应用研究，2017（12）：3848-3851.

［7］MAURYA S，CHOUDHURY Z，PURINI S.Accuracy configurable FPGA implementation of Harris corner detection［C］.2022 IEEE Computer Society Annual Symposium on VLSI （ISVLSI）.Nicosia，2022：422-427.

（編辑 沈 强编辑）

FPGA implementation of adaptive threshold Harris algorithm for remote sensing image registrationWang  Qiang， Guo  Laigong

（School of Electrical and Information Engineering， Anhui University of Technology， Huainan 232001， China）

Abstract：  Aiming at the problem of corner distortion caused by the threshold selection of the response value R of Harris corner detector， an adaptive Harris corner detector based on FPGA is proposed to achieve remote sensing image registration. This method changes the threshold in real-time based on the response value after Non Maximum Suppression （NMS） processing. The experimental results show that the optimized architecture achieved an accuracy improvement of 8.31% with only a 2.76% increase in hardware resources. Therefore， the remote sensing image registration architecture proposed in this article is suitable for computing on platforms with limited hardware resources.

Key words： Harris corner detector; FPGA; Non Maximum Suppression （NMS）; remote sensing image registration