基于抖动补偿技术的印刷品图像配准方法研究

张雷洪 熊锐

摘要：在实际的印刷品缺陷检测过程中，存在因相机支架的颤动而导致标准印刷图像和待检测图像在空间位置上配准不精确的问题。为此，在图像去抖动技术的基础上，提出了一种融合SURF（speeded-up robust features）和ORB（oriented FAST and rotated BRlEF）的运动估计算法。首先，基于SURF算法提取标准印刷图像和待检测图像的特征点;其次，基于ORB算法对提取的特征点进行描述和匹配;再次，将正确匹配的特征点通过仿射模型来求取全局运动矢量;最后，通过求得的全局运动矢量来补偿图像，并完成待检测图像与标准印刷图像的配准。针对待测图像存在的平移、尺度和旋转三种不同变化，分别采用SURF-ORB、ORB和SIFT（scale-invariant feature transform）的运动估计算法进行了性能分析。结果表明，SURF-ORB的特征点匹配对数量最多，匹配效果最好，SURB-ORB的运动估计时间控制在毫秒级别，满足现代印刷品缺陷检测的实时性要求。因此，融合SURF和ORB的运动估计算法能够对图像进行精确、实时的配准。

关键词：配准;抖动补偿;特征点匹配;仿射模型

中图分类号：TP273 文献标志码：A

引言

在现代印刷行业中，基于机器视觉的印刷缺陷检测技术可以精确地分析印刷图像质量，确定印刷品是否存在缺陷并实现印刷质量的在线检测。但是在实际的印刷品检测过程中，由于设备引起相机支架的颤动等因素的影响，使得采集的待检测图像相对于标准样张图像发生平移、尺度和旋转等变化，从而影响检测结果的稳定性和准确性。

目前，机器视觉检测系统中的去抖动方法主要分为机械去抖动、光学去抖动以及图像去抖动。其中，机械去抖动和光学去抖动的发展和应用由于需要价格昂贵、精确度高的测量元件而受到了限制，而图像去抖动是利用数字图像技术直接在像素面上检测出图像间的像素偏移量，从而对其进行补偿，该技术以体积小、携带容易、稳定性好以及成本低等优势被广泛应用在各种检测中。

图像去抖动方法应用在印刷品缺陷检测系统中时，主要是对采集的印刷图像进行运动的估计与补偿。其中，特征点估计算法是一种常用的运动估计算法，其主要由特征点的提取、描述、匹配以及全局运动矢量的确定组成。针对图像的特征点提取、描述和匹配，已经有很多研究人员做出了针对性的算法。比如Lowe早在2004年就提出了一种尺度不变特征变换算法SIFT，接着快速鲁棒性特征算法SURF针对SIFT算法包含信息较多、复杂度高以及实际利用率低等问题，利用Hessian矩阵和Hear小波相结合的方法有效地提高了运算速度，但是提取的特征点稳定性不够好。2011年，Rublee等提出的局部不变特征匹配算法ORB，较SIFT和SURF算法大大地提高了其运算速度，且运行时间短，具备旋转不变性。但是ORB算法本身不具备尺度不变性，所以在特征点匹配时会出现很多错误，进一步对图像的处理产生不良影响。

因此，本文在图像去抖动方法的基础上，对待检测图像进行抖动补偿，并完成与标准样张图像的配准工作。针对ORB算法不具备尺度不变性的缺点，将具备尺度不变性特征的SURF算法与ORB算法相结合来对图像的特征点进行提取、描述和匹配。根据仿射模型的参数较多，更符合实际设备的抖动情况，选用仿射模型作为图像去抖动算法中的数学模型来求取全局运动矢量，最后通过求得的全局运动矢量来补偿图像，并完成与标准样张图像的配准。

1融合SuRF和ORB的特征点匹配算法

1.1基于SURF算法提取特征点

SURF算法使用Hessian算子提取不同尺度的图像特征点。假设原始图像I在点（x，y）处，尺度为σ的Hessian矩阵为

因此，为了得到多个尺度的图像，SURF算法只需要改变箱型滤波器的大小，然后重复上述步骤，就可以得到不同尺度下的Dxx、Dxy和Dyy值，从而求得极值点。将此极值点与3x3x3的尺度空间中其他26个点进行比较，得到符合条件的特征点，此时的特征点具备尺度不变性。

1.2基于ORB算法生成特征点描述子

首先，为了使得这些特征点具有旋转不变性，需要确定每个特征点的主方向。因此，采用Haar小波响应确定主方向的方法，来计算特征点的主方向。该过程为：以特征点为中心，计算半径为60'（σ‘为特征点对应的尺度）的圆内的点在x和y方向上的Haar小波响应值，再以60°的扇形区域作为滑动窗口，使用该窗口以一定的步长旋转遍历整个圆形领域，并计算每次旋转时窗口内所有Haar小波响应的累加值，得到新矢量，选出其中最长矢量的方向作为该特征点的主方向。

最后，利用二进制函数进行比较，得到长度为256维的二进制串，并将其作为特征点的描述子。此时所得的特征点的描述子具有了旋转不变性和尺度不变性的特点。

1.3特征点的匹配

本文采用暴力匹配方法对提取出的特征点进行匹配，该方法的匹配过程为：对标准图像上的每一个特征点，采用汉明距离来计算它与待检测图像上每一个特征点描述子的距离，并取距离最小的特征点作为匹配点。由于匹配的特征点对仍然存在一些误匹配的情况，所以需要剔除它们来提高运动估计算法的精度。因随机抽样一致算法（RANSAC）可以将特征点的数据集分为内点集和外点集（内点是指正常的可以被数学模型描述的特征点，外点是指出现异常以及无法适应该数学模型的特征点），可以以不停迭代、假设的方式计算出最佳的数学模型参数，使得到的计算结果更接近真实值，所以本文选择RANSAC来筛除误配的特征点对。

2建立數学模型

利用得到的正确特征点对来估计当前所采集的图像与制定的标准印刷图像之间的像素偏移量，该偏移量也称为全局运动矢量。全局运动矢量是通过图像的数学模型来获得，将获得的像素偏移量作为补偿量就可以将待检测图像逆变换为标准图像。假设（XI1，yI1）、（xI2，YI2）分别代表标准图像和待检测图像中相对应的两点，则两图之间的空间几何变换定义如下：

在计算全局运动矢量之前需要先确定用于计算的数学模型。目前，常用的数学模型有平移模型、相似模型和仿射模型，其中：平移模型是图像的平移变换;相似模型是在平移模型的基础上增加了缩放因素;仿射模型包含了平移、旋转和尺度，该特点是原图中平行的两条直线，经仿射变换后仍然保持平行。因此如果图像同时存在平移、旋转和尺度变化时，用仿射模型更能准确表达，其表达式为

可以将式（7）中的模型参数转换为仿射变换矩阵T，即式中包含六个变量，因此至少需要三對特征点对来求解T（T亦称为全局运动矢量）。因此，通过求得的全局运动矢量来对待检测图像进行补偿，就可以得到最终的配准图像。

3实验与分析

3.1实验流程

在印刷品缺陷检测的图像采集过程中，由于外界因素的干扰造成采集的图像存在平移、尺度、旋转等变化，对此本文在配置有开源计算机视觉图像处理库OpenCV的Visual Studio2017环境下，对采集的图像进行补偿实验，具体实验流程如图1所示。

本文采用顺华利SHL-500WS型的CCD工业相机来制定标准印刷图像以及采集存在平移变化、尺度变化和旋转变化的待检测图像，其中标准印刷图像和待检测图像的尺寸为340像素×340像素，实验图像如图2所示。

3.2三种算法的特征点匹配效果比较

分别使用SURF-ORB算法、SIFT算法和ORB算法来对图像的特征点进行提取、描述和匹配，统计各个算法在图像发生平移、尺度、旋转变化时提取的特征点个数、算法耗时以及最后匹配的点对数，并以此进行算法性能分析。

图3为待检测图像存在平移变化的情况下，三种算法的特征点匹配效果图，表1为平移变换时的实验结果。

由图3可见：从匹配的特征点对数来看，SURF-ORB算法匹配的特征点对数最多，其次是ORB算法，最后是SIFT算法;从匹配的特征点对效果来看，SURF-ORB算法的匹配效果最好，ORB算法和SIFT算法都出现了一定程度的误匹配。

图4为待检测图像发生尺度变化时三种算法的特征点匹配效果图，表2为此时三种算法的实验结果。

从图4可以看出，当检测图像发生尺度变化时，ORB算法耗时是最短的，其次是SURF-ORB算法，而SIFT算法所用时间最长。虽然ORB算法的耗时最少，但是匹配的特征点对没有SURF-ORB算法理想，出现了误匹配，并且SURF-ORB算法提取的特征点对数最多。

图5为三种算法在待检测图像发生旋转变化时的特征点匹配效果图，表3为此时三种算法的实验结果。从图5可以看出，当检测图像因旋转变化而导致特征点周围的方向信息和梯度信息发生了变化，从特征点对的数量上来看，SURF-ORB算法提取的特征点对数最多，其次是ORB算法，最后是SIFT算法。虽然SURF-ORB算法、ORB算法和SIFT算法都出现了一定程度的误匹配，但是SURF-ORB算法在匹配的特征点对的数量上优于ORB算法，在算法耗时上优于SIFT算法。

综上可知：在算法时间长短上，ORB算法和SURF-ORB算法都能够达到毫秒级别，而SIFT算法由于不停迭代卷积延长了算法的速度，导致算法的耗时是其他两种算法的几倍;在匹配的特征点对数量上，最多的是SURF—ORB算法，其次是ORB算法和SIFT算法，并且ORB算法和SIFT算法出现误匹配更多。SURF-ORB算法结合了其他两种算法的优点，与SIFT算法比较缩短了匹配时间，与ORB算法相比降低了匹配误差，因此将SURF算法和ORB算法相融合来进行特征点的提取、描述和匹配是可行的，且效果好。

3.3运动补偿完成配准

在数学模型的建立中提到只需要三对特征点对就可以求得变换矩阵T1，表4为SURF-ORB算法在未使用RANSAC时得到的匹配特征点对的实验结果。

从表4可以看出，在不使用RANSAC筛除的情况下，无论是平移变换、尺度变换还是旋转变换都出现了大量的误匹配点，如果不对这些错误的特征点对进行筛除，将会降低后续配准的精度，因此在得到特征点对后利用RANSAC筛除误匹配的特征点很有必要。

本文利用RANSAC筛选出的内点集与外点集，结合仿射模型求得全局运动矢量，从而对图像进行补偿，并获得配准后的待检测图像，如图6所示。

为了验证配准后的待检测图像的效果，采用相似度（NC）来客观评价标准样张图像分别与抖动的待检测图像和补偿恢复的配准图像之间的相似程度。对于大小为MxN的图像，相似度NC的数学表达式为

式中：X（i，j）为标准样张图像像素点的灰度值;x'（i，j）为抖动的图像或补偿恢复的图像像素点的灰度值。其计算结果如表5所示。

从表5可以看出，抖动的待检测图像与标准样张图像之间的相似性程度较小，而经上述方法补偿后的图像与标准样张图像相比相似程度高，虽然也存在误差，但是只存在少量的像素误差，对后续的印刷缺陷的检测和模式识别造成的影响不大。总之，融合SURF-ORB的特征点匹配算法在匹配正确的特征点对和运行时间上具有优势，有利于后续利用正确的特征点对计算全局运动矢量和进行抖动补偿，并以此提高了配准的精确程度。

4结论

本文针对印刷品缺陷检测中，因外界因素造成采集的待检测图像相对于标准样张图像发生平移、尺度和旋转变换而使后续的配准、缺陷检测带来误差等问题，提出了一种融合SURE-ORB的特征点匹配算法，并结合仿射模型求出全局运动矢量，完成抖动的补偿和配准。通过实验可以证明融合SURE-ORB算法在匹配正确的特征点对和运行时间上具有优势，效果良好。