网格运动统计的刑侦现勘图像匹配算法

刘颖 谢晓飞 来毅 李芸 柴豪骏

摘  要： 刑侦现勘图像存在质量差、模糊、目标复杂且分辨力低等缺点，这些缺点导致图像匹配时出现效果差、耗时长等问题，针对该问题提出一种基于网格运动统计（GMS）的特征匹配算法。该算法首先使用网格对图像均匀分割，然后在网格邻域中统计额外支持特征的数量，其次分别计算正确与错误匹配的概率以构造评分函数，最后通过评分函数和评分阈值来区分正确与错误匹配。实验结果表明，该算法对刑侦现勘图像能够实现快速准确的匹配，且该算法对模糊人脸和高纹理的刑侦现勘图像都有较好的匹配效果。

关键词： 刑侦现勘; 网格运动统计; 特征匹配; 平滑运动; 图像分割; 比较验证

中图分类号： TN911.73?34                         文献标识码： A                       文章编号： 1004?373X（2020）06?0178?05

An image matching method for criminal investigation and scene survey

based on grid motion statistics

LIU Ying1，2， XIE Xiaofei2， LAI Yi1，2， LI Yun3， CHAI Haojun2

（1. Key Laboratory of Electronic Information Scene Investigation and Application Technology， Ministry of Public Security， Xian 710121， China;

2. School of Communications and Information Engineering， Xian University of Posts and Telecommunications， Xian 710121， China;

3. CAS Xian Institute of Optics and Precision Mechanics， Xian 710121， China）

Abstract： There are some disadvantages in the image of criminal investigation and scene survey， such as poor quality， fuzzy， complex target and low resolution， resulting in poor effect and long time?consumption in image matching. A feature matching algorithm based on grid motion statistics （GMS） is proposed for above problems. By means of this algorithm， the image is segmented uniformly by grid， and the number of additional supporting features is counted in the grid neighborhood; then the probability of correct and wrong matching is calculated to construct the scoring function， and the correct and wrong matching is distinguished by means of the scoring function and scoring threshold. The experimental results show that the algorithm can achieve fast and accurate matching images of the criminal investigation and scene survey， and the algorithm has a certain matching effect on both fuzzy face and high?texture criminal investigation and scene survey images.

Keywords： criminal investigation and scene survey; grid motion statistics; feature matching; smooth motion; image segmentation; comparison verification

0  引  言

在刑事侦查中，公安人员需要将获取的图像与刑侦现勘数据库中的图像进行对比分析。但由于某些客观的特殊因素的影响，人眼无法分析判断，得出正确的结论。因此，将图像特征匹配技术用于刑侦图像，辅助公安人员分析判断，从而得到正确的信息，提高案件侦查的效率，这具有很重要的现实意义。

近些年以来，许多技术[1?6]使用匹配分布约束区分正确和错误匹配，但这些算法会产生复杂的很难理解的平滑约束，而且最小化的代价很大。文献[2，5]通过一致性约束来获得更快速准确的特征匹配，但基于一致性的特征匹配计算代价大，实现起来很复杂。一些关于特征匹配的经典算法提高了特征描述符的区分能力、不变性和定位能力，比如SIFT（Scale?Invariant Feature Rransform）[7]，ORB （Oriented Fast and Rotated BRIEF）[8]，SURF （Speeded up Robust Features）[9]，ASIFT（Affine Scale ?Invariant Feature Transform）[10]，Harris Corners （Harris Corner Detection）[11]等，但僅依赖描述符很难区分正确和错误匹配，因为它们在限制错误匹配的同时会消除大量正确匹配[12]。因此提出一种基于网格的运动统计方法（Grid?based Motion Statistics，GMS），通过统计运动平滑性产生的区域对中额外支持特征的数量，计算匹配概率，进而构造概率评分函数和评分阈值区分正确与错误匹配。

在实际刑侦现勘中对刑侦图像的处理存在很多问题，比如刑侦图像中对象形状不规则，图像模糊，分辨率低，包含的信息复杂，无法判断图中的对象是否为同一对象，公安人员无法通过人眼判断分析得出正确可靠的结论。并且这样的刑侦图像在匹配时不能提供足够数量的特征，而GMS算法恰好需要足够数量的特征，所以本文在特征提取部分采用ORB算法提取大量的特征，保障了GMS算法可以产生足够数量的正确匹配。

1  网格运动统计

平滑运动产生的特征是相互支持的，且特征匹配不会随机发生，因此可以通过统计特征邻域中支持特征的数量来区分正确与错误匹配。给定一图像对[Ia]，[Ib]，其各自对应的特征数量为[N]，[M]。圆形区域对[a，b]分别为图像对[Ia]，[Ib]上的特征点的（小）邻域，其分别具有[n]，[m]个不包含原始像素的额外特征。图像对上所有邻域特征匹配的集合用[X={x1，x2，…，xi，…，xN}]表示。平滑运动使得特征点和其邻域内的相邻像素一起运动，因此在正确匹配的特征周围产生匹配同一位置的邻域，错误匹配的特征点位于图像上不同的位置。

1.1  概率事件

假设：[fa]表示圆形区域[a]中额外的[n]个支持特征中任意一个特征;[xi]表示第[i]个匹配;[si]为第[i]个匹配的邻域得分;[Pt]，[pf]分别表示图像对上正确与错误匹配概率;[Tab]和[Fab]分别表示正确匹配的相同区域和错误匹配产生的不同区域;[fta]，[ffa]分别表示[fa]发生正确匹配和错误匹配;[fba]表示[fa]在区域中[b]有匹配。

1.2  网格统计约束

令[fa]正确匹配的概率为[t]，如果[fa]匹配错误，则[fba]發生的概率为：

式中，[α]是添加的一个调节因子。当特征点[fa]在区域[b]中的任一位置产生匹配，则认为该匹配是正确的。事件[fba]的发生存在两种情况：[fa]在区域对的相同位置产生正确匹配;[fa]在区域[b]中其他位置产生错误匹配。因此，[fa]正确匹配的概率为：

式中：[fta]，[ffa]与[Tab]是独立的;[p（fba|ffa）]也独立于[Tab]。同样地，错误匹配的概率为：

用[si]表示邻域支持的度量，即邻域中额外特征点的数量。平滑运动也允许正确匹配支持图像上同一位置的多个小区域对，因此[si]为

式中：[K]是平滑运动产生的同一位置的多个小区域对的数量;[ak，bk]为区域对。由于每个特征的匹配是独立的，因此[si]服从二项分布。

[si]分布的各自的平均值和标准偏差为：

2  图像网格化

本节主要考虑具体实现区分正确与错误匹配的概率评分标准，通过该评分标准得出的结论进一步分析实现网格化，再通过设定阈值来实现正确与错误匹配的集合。

2.1  评分函数

根据式（6）中的正确和错误匹配的平均值和标准偏差构造概率评分函数，通过该函数评估正确与错误匹配的区分能力。

式中，[λ=pt-pfpt（1-pt）+Knpf（1-pf）]。当[p]越大时，评分越高，说明区分能力越强。

2.2  匹配数量与质量的转换

一些通过增加特征的独特性或不变性以获得良好匹配的算法提取的特征数量并不多，无法保证能够获得足够数量的正确匹配。因此，匹配质量提高的前提是要有足够数量的正确匹配。

通过式（7）可以很明显地得到一个结论：[p]和[Kn]成正比。这表明正确和错误匹配的区分能力将随着特征数量[n]逐渐增强，且匹配的数量和质量之间存在等价的转换。也就是说，即使在刑侦图像正确匹配很少的情况下，如果在正确匹配的位置比在随机的位置有更多的支持特征，也可以得到好的匹配，只要特征的数量足够大。

2.3  网格框架

理论上当[n]足够大时，GMS有较好的匹配性能，但问题是刑侦图像区域中特征数量总是有限的，简单地增加[n]是不切实际的。但是通过式（7）可知另一种匹配质量和数量等价转换的方法是添加更多图像上共同运动的区域来增加[K]，即增大[K]值，因为平滑运动支持图像特征点周围更多的区域。

获得更多图像区域的方法是将刑侦图像网格化，在实验中，将图像划分为[G=16×16]个非重叠的单元格，设定每个图像上的总特征数量为8 100，则[n=25]。实际上有许多的特征位于网格边缘，为了消除这种情况的影响，分别在[x]，[y]方向上移动半个网格单元的距离。同时，使用平滑的横向运动假设对匹配区域分组以提高鲁棒性。每一对区域的得分[sij]为：

式中，[xikjk]是划分的网格单元对[{ik，jk}]中所有的匹配数量。理论上，更多的网格单元可以提高匹配位置的精度，但它减少了每个网格单元中的特征数量[n]。这可以通过增加[K]来补偿，即增加更多的共同运动的图像区域。

3  评分阈值

正确匹配的数量越多说明匹配的质量越好，因此，需要设定一个标准来保证获得足够数量的正确匹配。本文采取的具体措施是通过将[sij]阈值化使单元对分成正确与错误匹配的集合[T，F]。

为了剔除大多数错误的网格单元以获得更多正确的网格区域，将期望的阈值设置为：

式中：[mf]是错误匹配的平均值;[sf]是适当数量的标准偏差。在实验中，令[mf=1]，而[μ]非常大。前面介绍了通过增加特征点的数量来提高匹配质量，因此，仍然从特征数量上设置阈值[τ]，其可以近似为：

式（10）产生了单个参数的阈值，利用该函数可以将区域对划分为正确匹配与错误匹配的集合。

式中：[xi]和[xj]分别表示刑侦图像上所有匹配集合中正确与错误匹配，通过调整[ε]以确保剔除大量错误的单元对;[ni]是单元格中存在的总的特征数量;[ε]跟式（9）、式（10）中的[μ]一样，都很大，在实验中选择[ε=8]。

4  实验和分析

本节将具体地介绍提出的算法在不同类型的刑侦现勘图像上的应用实验和数据对比分析。

4.1  实  验

GMS是一种拒绝错误匹配的有效的解决方案，在实验室（电子信息现场勘验应用技术公安部重点实验室）建立的数据集上进行实验。在指纹、轮胎、车痕、人脸4个数据集上分别随机选择了4对刑侦现勘图像进行匹配实验的观察分析。在评估本文提出的算法性能时，选择经典匹配算法SIFT，SURF作为比较对象，通过比较正确匹配的数量和程序运行所消耗的时间来比较匹配质量和效率。

首先选择两张指纹图像，在不同的分辨率下统计本文算法产生的正确匹配数量，如图1所示。GMS，SIFT和SURF算法在指纹图像分辨率为[350×400]（像素）的条件下的实验结果如图2所示，其正确匹配数量和所耗时间如表1所示。

通过实验发现，在图像的分辨率为[350×400]（像素）的时候4类刑侦图像正确匹配数量最多，因此在用不同的算法比较时，所有的图像尺寸都调整为[350×400]（像素）。本文从正确匹配数量和时间上对GMS算法与SIFT，SURF算法做了比较，实验数据如表2所示。

SURF算法是SIFT算法的改进，两者在原理上有相同之处，而本文提出的GMS在原理上是不同于它们的算法。因此，为了使比较合理，调整SIFT，SURF算法的阈值（ratio?test），使其处于最佳性能，即有最高的正确匹配数量和最短的耗时。实验中将SIFT和SURF算法的阈值确定为0.62，通过比较，GMS方法产生的正确匹配的数量更多，其在这4类现勘图像上的平均耗时为0.137 ms，而SIFT，SURF方法耗时远超出了GMS的时间，这在实际应用中存在很大的弊端。因此本文提出的GMS算法在正确匹配数量和时间上都有优秀的表现，能够获得更加快速、准确的匹配。

4.2  分  析

本文提出的算法相对较好是因为该算法考虑到了平滑运动，平滑运动使得特征点和其小邻域内的像素一起运动，保证了刑侦图像对上相同位置有大量的正确匹配，平滑运动产生的匹配不会随机发生。从式（7）可知，匹配的数量有助于匹配质量，从而实现了匹配数量和匹配质量的转换。通过实验发现，GMS算法对高纹理图像的匹配效果较好，对低纹理刑侦图像正确匹配的数量有所下降，但仍然好于SIFT和SURF算法，如图2～图4，及表2所示。这是因为，像指纹、轮胎压痕等高纹理的图像本身就有很规律的纹理分布，且包含大量的特征信息，因此能提供许多支持特征，并且在特征提取时本文选取的是ORB算法，能够提取大量的特征，从而保证建立准确的匹配关系。

相比SIFT和SURF算法，GMS算法有很好的匹配效果，如图5、表2所示，这也得益于算法本身的优势。因此，本文算法对于模糊人脸的准确匹配在刑侦领域具有较高的应用价值和现实意义。

5  结  语

本文提出基于网格的运动统计算法，该算法首先将被匹配的刑侦图像网格化获得区域对，然后选择多个网格区域，统计其中的特征点数量，再通过构造的评分函数和评分阈值，将所有的匹配划分为正确与错误匹配的集合，从而获得刑侦图像的匹配。该算法能够将刑侦图像中模糊和清晰人脸目标实现准确匹配，这在刑侦领域中有实际的应用价值和意义。未来的主要工作是设计更加实用、高效、快速的视频图像特征提取和匹配算法，尤其是针对监控视频序列更要考虑到实时性，使其在实际的刑侦领域中有更大的实用价值。

参考文献

[1] PIZARRO D， BARTOLI A. Feature?based deformable surface detection with self?occlusion reasoning [J]. International journal of computer vision， 2012， 97（1）： 54?70.

[2] LIN Wenyan， CHENG Mingming， LU Jingbo， et al. Bilateral functions for global motion modeling [C]// European Conference on Computer Vision. Zurich： Springer， 2014： 341?356.

[3] LIN W Y， LIU S Y， JIANG N J， et al. RepMatch： robust feature matching and pose for reconstructing modern cities [C]// European Conference on Computer Vision. Amsterdam： Springer， 2016： 562?579.

[4] LIPMAN Y， YAGEV S， PORANNE R， et al. Feature matching with bounded distortion [J]. ACM transactions on graphics， 2014， 33（3）： 1?14.

[5] WANG C， WANG L， LIU L Q. Density maximization for improving graph matching with its applications [J]. IEEE transactions on image processing， 2015， 24（7）： 2110?2123.

[6] MAIER J， HUMENBERGER M， MURSCHITZ M， et al. Guided matching based on statistical optical flow for fast and robust correspondence analysis [C]// Processing of European Conference on Computer Vision. Amsterdam： Springer， 2016： 101?117.

[7] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[8] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. Barcelona： IEEE， 2012： 2564?2571.

[9] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features [C]// European Conference on Computer Vision. Graz： Springer， 2006： 404?417.

[10] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. Siam journal on imaging sciences， 2009， 2（2）： 438?469.

[11] DERPANIS K. The harris corner detector [D]. Toronto： York University， 2004.

[12] LIN Wenyan， CHENG Mingming， LU Jingbo， et al. Bilateral functions for global motion modeling [C]// European Conference on Computer Vision. Zurich： Springer， 2014： 341?356.