一种基于特征点的卷烟商标纸配准方法

王凯华, 李晓辉, 周明珠, 罗泽，邢军*

1. 中国科学院计算机网络信息中心，北京 100190

2. 中国科学院大学，北京 100049

3. 国家烟草质量监督检验中心，河南 郑州 450001

引 言

近年来，卷烟行业中的假冒伪劣现象比较普遍，大量假冒伪劣卷烟在市场流通，对市场秩序造成了严重影响，也对国家与消费者的合法权益产生了侵害。卷烟真伪鉴别问题受到了我国相关管理部门的高度重视，也是社会大众普遍比较关注的问题。一般对卷烟的真伪鉴别工作是基于卷烟的物化检测，但考虑到真伪卷烟在外包装商标纸上有一定区分，可以利用计算机视觉技术对其进行处理，实现现场检测，对打击假冒伪劣烟草，提高检测效率有重要意义。

当前计算机视觉在卷烟生产中的应用有识别和剔除烟叶中的异物[1]以及自动检测烟标的漏贴情况[2]。但基于外包装商标纸对于真伪卷烟的区分，依靠的还是人的感官鉴别，相关工作还在探索，主要难点在于真伪卷烟商标纸相似度高，不易区分，本文将图像配准的方法应用到真伪卷烟的鉴别工作中，对后续研究有参考意义。

图像配准是对不同传感器、不同角度或不同时间获取的同一场景的两幅或多幅图像进行空间对准的过程[3]。图像配准在多个领域应用广泛，比如遥感、医学图像分析、机器视觉、场景分类等[4]。

图像配准技术根据在配准过程中使用的图像信息差异分为3 类：基于变换域的图像配准、基于特征的图像配准和基于灰度信息的图像配准[5]。其中，基于特征的图像配准方法因其计算量较低，对位置变化较敏感，同时降低了噪声、遮挡、光照和图像变形的影响，成为当前主流的配准方法[6]。 在基于特征的图像配准中，基于点特征的图像配准技术成为该研究领域的热点，所以本文主要研究的是点特征。在基于点特征的研究方法中，SIFT 算法与其他匹配方法相比，提取的点特征由于在图像平移、旋转、缩放、视角变换和光照变化等因素下具有很好的效果[7]，因而广泛受到关注。而基于深度神经网络学习得到的点特征目前在匹配问题上并没有取得突破性进展[8]。

基于此，本文将基于改进的SIFT 算法提取的匹配特征点进行卷烟商标纸图像细粒度配准，细粒度配准的含义是基于开源的图像配准框架BIRL（Benchmark on Image Registration methods with Landmark validations）提供的弹性配准方法实现图像的精细配准。本文的目的是提升卷烟商标纸配准的精度，并能够对真伪卷烟实现有效区分。

1 相关技术

1.1 SIFT 算法

SIFT 算法主要分为四步[9]：

（1）尺度空间的建立

SIFT 算法用DOG 尺度空间代替LOG 尺度函数，是为了获得稳定特征点的位置，将两幅相邻高斯尺度空间图像相减，得到DOG 尺度空间，该尺度空间的计算方法如式（3）。

（2）尺度空间中提取特征点

尺度空间中的关键点和它所在尺度以及上下尺度27 个点进行比较，最终保留局部极值点。然后通过剔除不稳定的边缘响应点、对比度低的点以及用子像元插值方法优化检测的关键点。

（3）生成特征点描述子

在关键点邻域窗口中采样，计算邻域中各个像元的梯度幅值和方向，统计邻域中像元梯度方向直方图，则直方图峰值就是关键点的主方向。为了保证旋转不变性，把特征点的方向作为坐标轴旋转方向，把特征点周围区域分成4×4 个子区域，统计每个子区域块内的梯度方向，获得8 个方向的梯度方向直方图，最终产生维度为128 的SIFT 特征向量。

（4）特征点匹配

在匹配的时候，SIFT 算法计算出待匹配图像上距离基准图像上某一个特征点最近和次近的特征点，距离计算基于欧氏距离，然后给最近和次近的比值设置一个阈值，把小于这个阈值的最近点视作匹配点，经过比值提纯后，一般还会使用随机抽样一致性算法（Random Sample Consensus, RANSAC）剔除离群匹配对。

1.2 图像细粒度配准

本文基于BIRL 图像配准框架实现卷烟商标纸图像细粒度配准过程，该框架是2019ISBI(International Symposium on Biomedical Imaging)大会举办的非刚性几何图像自动配准项目的关键组成部分。

使用的细粒度配准方法是该框架集成的bUnwarpJ 弹性配准方法，该方法基于能量函数最小化求解变形过程，不仅能够对刚性变换的图像进行配准，对弹性变换的图像也有好的配准效果，且该方法适合2D 图像配准。

该细粒度配准方法输入数据包括源图像和目标图像，以及源图像和目标图像上标定的匹配点的坐标。该框架使用的数据是人工标注的匹配点，为了在工程上达到特征点自动化匹配和图像配准，本文重点研究了如何提取两幅图像上相应的精确匹配点，在工程上完成图像配准的自动化并达到好的配准效果。

2 卷烟商标纸细粒度配准算法

2.1 细粒度配准流程设计

对SIFT 算法改进，包括分块提取卷烟商标纸SIFT 特征点，进行稳健度筛选、单应性粗配准，基于距离约束筛选匹配对。针对细粒度图像配准的结果，基于输入的匹配特征点经细粒度配准后的距离对整体效果进行评估。整体配准流程如图1 所示。

图1 卷烟商标纸图像细粒度配准流程图Fig.1 Image of cigarette wrapping paper fine-grained registration flow chart

2.2 图像匹配策略的改进

（1）图像分块提取特征策略

由于SIFT 算法提取的卷烟商标纸图像特征点，存在不够均匀、有些位置特征点检测较少的问题，本文采取图像分块的方法加以解决。主要方法为：首先利用预先设置的块数对整幅图像进行均匀切割分块，为了避免分块图像边缘的特征点被遗漏，对分块边缘区域进行重叠采样处理，保障SIFT 算法对原始图像的每个区域进行检测。块数的选择设定为2*1，2*2，3*2，3*3，2*5，4*3。

分块后，根据检测特征点所需时间和检测特征点的总个数，确定分块方式。最后比较分块前后每一个图像块检测到的特征点个数，验证分块处理的实验效果，并分析特征点的均衡性。

（2）不稳健特征点的剔除

特征点提取阶段，由于卷烟商标纸图像是由扫描方式采集的，单幅图像分辨率高，检测的特征点数目很多，直接利用这些特征点，会增加计算量，影响匹配速度，还容易产生误匹配。提出了先粗配准后细粒度配准的图像配准策略，在细粒度配准的时候，需要足够精确的匹配对作为输入，但对匹配对的数量并没有做过多要求，因此上述策略的基础上，根据特征点的响应强度进行排序特征点的稳健度，剔除一部分稳健度低的特征点，减少计算量，提高匹配精度。

（3）单应性粗配准过滤匹配对

SIFT 算法对最近邻和次近邻匹配的距离比设定阈值进行匹配对筛选，该阈值被称为ratio，ratio=0.4适用于准确度要求高的匹配；ratio=0.6 适用于匹配点数目要求比较多的匹配；ratio=0.5 适用于一般情况[10]。本文需要找到最精确的匹配对，所以阈值为0.4，后序的剔除伪匹配需要使用随机一致性方法RANSAC。

在上述基础上，通过单应性矩阵将基准图像和待配准图像进行粗配准，根据粗配准后匹配对的距离约束，筛选出更精确的匹配对。

其中，H表示单应性矩阵，表示三维齐次坐标向量。

根据RANSAC 筛选的匹配对计算单应性矩阵，并通过该矩阵将待配准图像的匹配点映射到基准图像上，就可以计算匹配对经过单应性粗配准后的距离。

图2 三维空间中两个平面Fig.2 Two planes in three-dimensional space

计算出匹配对的距离后，根据如下方法设置阈值，对匹配对进行精确筛选。

①匹配数小于等于100，不对粗配准后的匹配对进行筛选，因为要保证有足够的匹配对作为细粒度配准的输入；

②匹配数大于100，计算出这些匹配对的距离均值；

③将②计算的距离均值作为阈值，保留距离小于阈值的匹配对。

将距离均值作为筛选阈值的方法，既可以把距离过大的匹配过滤掉，也可以保留一定数量的匹配对。之后根据细粒度配准后的匹配对距离均值衡量本文改进SIFT 工作前后的卷烟商标纸配准效果。

2.3 图像细粒度配准评价标准

由于图像配准的研究领域不同、目的不同、侧重点不同，很难用一个统一的标准界定图像配准结果的好坏[11]。实践中，会结合图像所属领域、配准方法等多个方面进行综合评估[12]。对图像配准结果的评估研究也是图像配准领域的一个研究热点。

在细粒度配准阶段，要输入基准图像和待配准图像的匹配对，BIRL 会基于这些匹配对进行图像细粒度配准。本文提出细粒度配准后根据这些匹配对的距离均值对配准结果进行评估。

基于细粒度配准后匹配对距离均值进行配准评估的依据是一张图像变换到另一张图像上，匹配点在配准后位置会接近或者重合。好的配准效果，两张图像基本完全重合，匹配点的距离会很小，差的配准效果，匹配点的距离会较大。传统的人工图像配准是人工标定匹配对，称之为“控制点”，在图像配准后会通过观察控制点的对准效果，来判断配准的好坏[13]。本文基于此，自动提取图像的匹配对，定量进行距离计算，对配准效果进行定量分析。

具体方法如图3 所示，实线三角形和虚线三角形表示待配准图像和基准图像在配准后图像上的位置，AA′BB′CC′表示输入的卷烟商标纸特征点，也是本文用改进的SIFT 算法提取的精确匹配点，线段AA′，BB′，CC′表示细粒度配准后匹配对的距离，本文基于这些距离均值评价图像配准效果，称为图像配准错误偏移（Image Registration Error Offset, IREO）计算方法如式（5）。

图3 IREO 计算示意图Fig.3 IREO calculation diagram

n表示匹配对数目，表示待配准图像（源图 像）匹配特征点，表示基准图像（目标图像）匹配特征点。

IREO 评估商标纸配准精度，IREO 值越小，说明配准的精度越高。

3 实验和参数校准

3.1 实验数据和环境

实验数据是项目采集的卷烟商标纸图像数据，为了保留原始图像的更多细节，用扫描方法进行数据采集。实验采用四组商标纸图像数据，图4-图7，其中每组的(a)表示真烟盒商标纸基准图像，(b)表示真烟盒商标纸待配准图像，(c)表示假烟盒商标纸待配准图像。

实验的硬件配置是Intel(R)Core(TM)i5-7200U 2.50GHzCPU，内存8GB，操作系统为windows10。

3.2 图像分块提取特征策略

按照2.2(1)图像分块策略，对图4(a),图5(a),图6(a),图7(a)进行分块处理，得到图8-图11 的图像分块特征检测折线图，蓝色折线表示检测的特征点个数，黄色折线表示该图像进行特征检测所耗时间。通过对图8-图11 分析得出，随着分块数的增多，检测特征点数目越多，但检测时间也越多。根据图中特征点个数和时间的变化趋势发现，当分块为3*2 时，提取的特征点数目趋于稳定，并且检测特征点所需时间没有大幅提升，所以本文针对卷烟商标纸图像数据的默认分块方式为3*2。

图4 卷烟商标纸图像1Fig.4 Image 1 of cigarette wrapping paper

图5 卷烟商标纸图像2Fig.5 Image 2 of cigarette wrapping paper

图6 卷烟商标纸图像3Fig.6 Image 3 of cigarette wrapping paper

图7 卷烟商标纸图像4Fig.7 Image 4 of cigarette wrapping paper

基于3*2 的分块方式对图4(a),图5(a),图6(a),图7(a)进行特征点检测，3*2 表示三行两列，从上到下，从左到右对每个图像块编号①②③④⑤⑥，统计分块前后每一块上检测到的特征点个数，统计结果如表1 所示，每行上面的数字表示图像块原来检测的特征点个数，下面的数字表示分块后检测特征点的个数。分析可知，分块后每个图像块都可以提取到更多的特征点，并且原来特征点提取较少的区域，分块后能提取到与其他块数目相近的特征点，表示该方法可以提取到更均匀的特征点，能提取更能描述图像全局特征的特征点，便于后续匹配。

图8 图4(a)分块特征检测折线图Fig.8 Fig4(a) feature detection based on segmentation

图9 图5(a)分块特征检测折线图Fig.9 Fig5(a) feature detection based on segmentation

图10 图6(a)分块特征检测折线图Fig.10 Fig6(a) feature detection based on segmentation

图11 图7(a)分块特征检测折线图Fig.11 Figure7(a) feature detection based on segmentation

3.3 不稳健特征点的剔除

对图4(a)(b)，图5(a)(b)，图6(a)(b)，图7(a)(b)， 以10%作为间隔，剔除稳健度排序靠后的10%，20%，30%，40%，50% 的特征点。然后基于保留的特征点进行匹配，得到推定匹配率（Putative Match Ratio），即匹配的特征点数占特征点总数的比值，来衡量剔除部分不稳健特征点的匹配效果，如图12 所示。

表1 每块图像上特征点数目比较Table 1 Comparison of the number of feature points on each segment image

由图12 可知，当剔除30%不稳健匹配特征点时，推定匹配率有较大提高，高的原因是因为剔除的不稳健特征点没有参与图像匹配，所以采用剔除后30%不稳健的特征点作为剔除标准。

3.4 单应性粗配准过滤匹配对

基于2.2(3)，对图4(a)-图4(b)(A1 组)，图4(a)-图4(c))(A2 组)， 图5(a)- 图5(b)(B1 组)， 图5(a)-图5(c))(B2 组)，图6(a)-图6(b)(C1 组)，图6(a)-图6(c))(C2 组)， 图7(a)- 图7(b)(D1 组)， 图7(a)- 图7(c))(D2 组)，进行粗配准实验，得到表2。

图12 推定匹配率折线图Fig.12 Putative match ratio line chatr

表2 粗配准前后的匹配点距离均值Table 2 Mean distance of matching points before and after coarse registration

对粗配准距离约束筛选前后的匹配对进行可视化，得图13(A1 组实验)和图14(B1 组实验)。

由表2、图13 和图14 可知，经过粗配准距离约束筛选后，匹配对的距离会大大缩小，说明本文提出的匹配对过滤策略能有效剔除误匹配，提高匹配精度，有利于下一步进行的BIRL 细粒度图像配准。

3.5 图像细粒度配准

图像细粒度配准是基于BIRL 的bUnwarpJ 方法进行的，在1.2 中有介绍。将要配准的图像和3.4 中提取的匹配特征点坐标作为BIRL 的输入。

以A1 组配准过程为例，配准的可视化过程如图15 所示。

图13 商标纸图像1(a)(b)粗配准前后特征点匹配图Fig.13 Image1(a)(b) feature points matching

图14 商标纸图像2(a)(b)粗配准前后特征点匹配图Fig.14 Image2(a)(b) feature points matching

图15 细粒度配准过程可视化Fig.15 Visualization of fine-grained registration process

基于该细粒度配准方法和提出的IREO 配准评估方法，对A1-D2 八组图像进行配准实验。

实验步骤为：对每组配准图像，首先用SIFT 算法提取的特征匹配点进行细粒度图像配准，然后使用本文改进的SIFT 算法，即经过分块提取特征点、剔除不稳健的特征点、单应性粗配准距离约束的SIFT 算法提取的匹配点去进行细粒度图像配准，计算SIFT 提取匹配对的IREO 配准结果如表3 所示。

表3 算法改进前后IREO 对比Table 3 IREO before and after algorithm improvement

4 结果分析

卷烟商标纸细粒度配准是基于BIRL 集成的bUnwarpJ 细粒度配准方法进行的，在细粒度配准阶段，本文提出了用图像配准错误偏移（IREO）去衡量配准效果。

在细粒度配准之前的步骤，对SIFT 算法的改进主要在特征点检测和匹配对过滤两个阶段。

4.1 特征点检测分析

对SIFT 提取特征点的改进包括分块处理和剔除不稳健特征点。

图像分块处理，当分块方式为3*2 时，特征点检测花费时间较少，且能够提取到数量更多的特征点。由表1 可知商标纸图像分块提取的特征点比原来提取的特征点更加均匀，数量也更多，改进后提取的特征点分布均匀，更能表示图像本身蕴含的特征信息。

基于2.2(1)分块采集的特征点虽然更均匀，但分布均匀的同时，也使得图像特征的数量增加，本文基于特征点的响应强度，即稳健度，剔除一部分不稳健的特征点。由图12 可知，根据特征点稳健度排序，剔除后30%的稳健度低的特征点时，可以最大程度提高图像匹配的推定匹配率。剔除后，可以提升商标纸图像匹配的计算速度，保留更稳健的特征点。

4.2 细粒度配准结果分析

表3 表示八组细粒度图像配准结果，可视化为图16 所示。IREO 为本文2.3 提出的图像配准评估指标，即细粒度配准后匹配对的距离均值。蓝色表示基于原来SIFT 算法的IREO 值，黄色表示改进后IREO 值，可以发现，对SIFT 算法改进后的IREO值比原来小，说明改进的卷烟商标纸配准算法有效果，能够提升配准精度。

图16 算法改进前后IREO 柱状图Fig.16 IREO histogram before and after algorithm improvement

进行分组比较，A1A2 组，B1B2 组，C1C2 组，D1D2 组，1 表示真烟和真烟的商标纸配准结果，2 表示真烟和假烟商标纸配准结果，对比发现，真烟和假烟配准的IREO 值要大于真烟和真烟配准的IREO值，说明假烟盒的配准距离比真烟盒的配准距离大，在对比情况下，能够对真烟盒和假烟盒商标纸图像数据进行区分。可以进一步根据这个差值，来研究如何最大差异化真伪卷烟商标纸图像数据，进而对真假卷烟进行区分。

5 总结与展望

本文研究了基于特征点的细粒度图像配准框架BIRL，针对细粒度配准结果，提出使用图像配准错误偏移（IREO）衡量配准结果，使用该标准可以对细粒度配准结果进行定量分析。结合细粒度配准方法对输入匹配点的要求，改进了SIFT 算法对特征匹配对的提取。

对SIFT 算法的改进在特征点提取和匹配点过滤两个方面。特征提取阶段，通过分块方式，检测到图像上更均匀的特征点；根据特征点稳健度排序剔除后30%的特征点，提高了推定匹配率。在匹配阶段，提出了单应性矩阵粗配准后经距离约束筛选匹配点，实验表明，经粗配准距离约束后提取的匹配点可以提高细粒度图像配准的精度。

此外，对比不同组的实验结果，可以对卷烟商标纸图像进行区分。根据对比实验，真烟和真烟的精配准效果要优于真烟和假烟的精配准效果，根据两组之间的差值，能够区分真伪卷烟商标纸图像数据，对以后根据真伪卷烟商标纸图像区分真伪卷烟的研究有参考意义，有利于卷烟质检工作自动化的推进，对打击假冒伪劣卷烟，维护市场秩序有重要意义。

本文对图像细粒度配准的改进主要体现在前期匹配对的精确提取，下一步可以对细粒度配准的具体方法进行研究，拉大真伪卷烟配准的差异，从而实现更有效的区分。

利益冲突声明

所有作者声明不存在利益冲突关系。