一种两层体系刑侦现勘图像检索方法

刘 伟，刘 颖，李大湘，朱婷鸽

(1. 公安部 电子信息现场勘验应用技术重点实验室，陕西 西安 710121; 2. 西安邮电大学 计算机学院，陕西 西安 710121；3. 西安邮电大学 通信与信息工程学院，陕西 西安 710121)



一种两层体系刑侦现勘图像检索方法

刘 伟1,2，刘 颖1,3，李大湘1,3，朱婷鸽1,3

(1. 公安部 电子信息现场勘验应用技术重点实验室，陕西 西安 710121; 2. 西安邮电大学 计算机学院，陕西 西安 710121；3. 西安邮电大学 通信与信息工程学院，陕西 西安 710121)

给出一种两层体系刑侦现勘图像检索的方法。使用线性核支持向量机分类器和图像的多尺度分维数特征判别查询图像的语义类别，根据类别在仅包含该语义类图像的数据集上使用按例检索方法进行检索。实验结果表明，该方法在查全率和检索时间等指标上优于按例检索方法。

法庭科学；刑侦现勘图像；图像检索；特征提取；分类器

刑事勘验是公安干警为发现和收集证据而对案件有关的场所、物品、尸体等进行的勘查和检验。通过勘验获取的证据可以帮助公安干警确定案件性质，为侦查破案提供线索，为提起公诉和审判提供证据，具有其他侦查行为不可替代的作用[1]。刑事照相是刑事勘验中获取物证(如痕检和文检)的重要方式[2]，数字图像照相技术已在刑侦领域内逐渐取代了传统胶卷照相技术，得到了广泛应用[3]。现场分析与串并案侦查是打击动态化、系列化犯罪的有效措施[4]，现勘图像查询比对在为公安机关提供破案线索和串并案分析过程中发挥着重要作用。目前我国公安行业现勘查询比对主要依靠人工进行。随着案件的不断积累，现勘图像数据量不断增大，迫切需要一套高效现勘图像检索系统[5]。

图像检索研究经历了基于文本的图像检索与基于内容的图像检索(Content-Based Image Retrieval，CBIR)两个阶段[6]。基于内容的图像检索克服了基于文本的图像检索中人工标注低效性、主观性和工作量大等弊端，得到了广泛的研究与应用[6]。CBIR主要采用“按例检索”框架(Query By Example，QBE)，即预先按照某种算法提取自然图像的低层特征(如颜色、纹理和形状)形成一个特征库，然后计算查询图像的特征并与特征库进行匹配以寻找相似图像[6]。

刑侦现勘图像涉及实际案件，数据来源特殊，目前国内外关于刑侦现勘图像检索的研究还比较少。采用QBE框架，提取图像颜色直方图、灰度共生矩阵、粗糙度、Gabor特征等颜色和纹理特征，进行图像检索的实验，证实了图像检索技术在刑侦现勘图像检索中的可行性[7]；针对刑事勘验中采集的鞋印图像残缺不全及含有噪声的特点，采用尺度不变性特征可用于鞋印图像识别和检索[8]；基于Radon和Curvelet变换的两种新的旋转不变的纹理特征算法可用于车胎花纹图像检索[9]。将基于内容的图像检索技术应用在公共安全领域内，使用颜色直方图、小波纹理特征和二者融合特征，用欧氏距离和街区距离作为相似性度量，进行了现勘图像检索研究，但是QBE检索框架用于现勘图像检索时效率不高[10-11]；针对刑侦现勘图像提出基于区域语义模板的图像检索方法，包括用户提交查询图像及感兴趣区域、构建区域语义模板、预分类和最终的图像排序等步骤，在提髙刑侦现勘图像的查准率方面是有效的[12]；基于多方向多参数的灰度共生矩阵和颜色矩的图像特征提取算法，将纹理特征和颜色特征进行融合，对刑侦图像数据库的图像查准率较高[13]。

然而，刑侦现勘图像数据库的规模会越来越大，QBE框架在每次检索时都会匹配数据库中的每幅图像，效率比较低。公安干警在现场刑事勘验结束后会把采集的每幅图像归为某个类别，针对某个类别的数据库规模则相对比较小。如果在检索时能够先对查询图像进行分类，根据分类结果在针对某个语义类的小规模数据集上进行内容相似性检索就会提高检索效率。显然，这种方法的关键在于分类的正确性。基于上述思想，本文拟提出一种两层体系刑侦现勘图像检索方法，采用支持向量机对查询图像进行分类，根据分类结果在语义类数据集上进行内容相似性特征匹配和检索。

1 算法设计

1.1 算法框架

两层体系刑侦现勘图像检索框架如图1所示。该框架采用特征算法计算刑侦现勘图像数据库对应的特征数据库，预先训练一个可实现多语义分类的支持向量机分类器模型。公安干警提交检索图像后，按照特征算法计算检索图像特征，根据此特征支持向量机自动判定其语义类别，然后在仅包含该语义图像库上按照QBE框架进行匹配检索，返回最终结果。

图1 两层体系刑侦现勘图像检索框架

1.2 特征提取

刑侦现勘图像相对自然图像具有一定特殊性，主要体现在图像种类的行业特殊性和图像内容分类方式的特殊性。现勘图像可能包含指纹、轮胎花纹、案发现场草图等在其他图像数据集里比较少见的内容。刑侦人员给现勘图像归类时会将其归为“概貌类、方位类、细目类”等具有鲜明行业特点的类别。

(1)直方图特征

使用MPEG-7边沿直方图[14]、线条方向直方图[15]和局部二值模式(local binary pattern，LBP)[16]。

(2)多尺度特征

使用Gabor滤波器特征[17]和小波特征。小波特征计算了每个尺度下各个子带的均值和标准差。

(3)非线性纹理特征

如果将图像纹理视为非线性动力系统产生的信号，就可以使用非线性分析方法来提取图像的纹理特征。复杂性度量和分维数是用于非线性信号分析的方法，在图像检索中也得到了应用。本文将金字塔分解和非线性分析方法结合起来提取图像特征，采用二维C0复杂性计算图像复杂度[18]，使用盒维数方法计算分维数[19]。

计算特征值时先用金字塔分解方法对图像进行多尺度分析，依次对原始图像进行金字塔分解，对得到的各个尺度图像采用图2(a)方法计算特征，即将图像分为大小相等的4块，进行1～4编号，然后取图像中心和上述块大小相等的图2(a)中的编号5区域，取图像中心的原因是在大多数图像中目标出现在中心区域。分别计算整幅图像以及上述得到的5个图像块的复杂度和分维数值，形成6维特征。所有的尺度处理完毕就得到最终的特征向量。现勘图像非线性纹理特征计算如图2所示。使用的纹理特征如表1所示。

(a) 原始图像及分块处理 (b)金字塔分解尺度图像1 (c) 金字塔分解尺度图像2

特征名称维数备注MPEG⁃7边沿直方图80文献[14]线条方向直方图18文献[15]局部二值模式256文献[16]Gabor48文献[17]，4个尺度、6个方位Haar小波24分解尺度为3Db2小波24分解尺度为3多尺度复杂性18分解尺度为3多尺度分维数18分解尺度为3

1.3 多语义分类器设计

利用支持向量机(Support Vector Machine，SVM)对输入现勘图像进行语义分类，采用“一对一法(One-Against-One，OAO)”，即通过组合多个二分类器实现多分类器构造。

2 实验结果与分析

2.1 实验环境与数据

实验中计算机配置为CPU为Intel® Core® i3双核(64位处理器)，3.4 GHz；内存为8 G；操作系统为Windows® 8.1中文版(64位系统)；实验程序用Matlab® R2010b编写。对所有特征进行归一化，采用的相似性度量函数为余弦距离法。

实验数据为刑侦现勘图像数据库中4 501幅图像，计10个语义类。数据库中部分图像示例如图3所示。

图3 现勘图像数据库部分示例

2.2 结果评价指标

采用AVG-p[20]指标(该指标越大表明检索结果越好)、AVG-r指标(该指标越小表明检索结果越好)[20]以及ANMRR指标[21](该指标越小表明检索结果越好)进行评价。这些评价指标不但考虑了检出图像的语义相关性，还考虑了相关图像在检出结果中的排序值，可视为查准率和查全率的改进。QBE框架下从每个语义类中随机选取15幅图像，依次作为查询图像进行检索，共进行10轮，取所有语义类检索结果指标的平均值作为最终评价指标。

(1)QBE框架下不同特征检索性能比较

比较表1中8种纹理特征在刑侦现勘图像检索中的性能，表2给出了这几种特征的检索性能对比结果(加粗及下划线的指标表示最优)。

表2 实验中使用的纹理特征检索性能比较

由表2可以看出，“多尺度分维数”特征在AVG-p和AVG-r两个指标上取得最佳检索效果，在ANMRR指标上取得次佳检索效果；“MPEG-7边沿直方图”特征在ANMRR指标上取得最佳检索效果，在刑侦现勘图像数据库上的检索结果超过了Gabor和小波特征算法。其中,特别是“多尺度分维数”特征的维数在表2中是最低的，只有18维。由于“MPEG-7边沿直方图”特征提取了图像中目标的边沿信息，“多尺度分维数”特征提取了图像的局部灰度波动信息，因此在刑侦现勘图像检索中这两个因素在特征算法设计上非常重要。

(2)QBE方法和本文方法检索性能比较

选用“多尺度分维数”特征用于图像分类。计算各个语义类的分类正确率。计算时随机选择每个语义类样本数的40%作为训练样本，按照OAO构造SVM多语义分类器，将剩余60%样本作为测试样本，测试分类正确率，进行20轮，取平均值作为最终结果。语义类数目为K=10，按照OAO方法需要构造K× (K- 1) / 2=45个基本SVM分类器。对一个未知样本进行分类时，用每个基本SVM分类器进行分类，最后得票最多的类别即为该未知样本的类别。实验中使用了LibSVM工具包，核函数取线性核，其余参数取默认值。表3给出了刑侦现勘图像各个语义类的分类正确率。

查询时先用SVM对公安干警输入的查询图像进行分类，根据分类结果在仅包含该类别的小规模数据集上用QBE方法进行匹配并输出。使用“多尺度分维数”特征将本文方法和QBE方法进行对比，检索过程和QBE方法。对比结果如表4所示(加粗及下划线的指标表示最优)。

表3 现勘图像多语义分类结果

由表3可以看出，数据库中鞋印、轮胎花纹和窗户分类效果较好，实物证据、车辆、道路和案发现场草图较差。这是由图像内容决定的，分类效果好的图像具有视觉内容的相似性(如鞋印)，分类差的则反之。

表4 QBE方法与本文方法性能对比结果

由表4可以看出，本文方法在AVG-r和ANMRR两个指标上都优于QBE方法，但在AVG-p指标上则不如QBE方法。本文方法第一步分类的正确性尤为关键，如果分类错误就会导致后续的匹配全部错误，降低检索正确性，即AVG-p指标。事实上，QBE方法中的特征匹配也可视为类似近邻分类思想的分类器，但它的匹配在整个数据库上进行，所以其AVG-p指标可能会高于本文方法。但是，由于本文方法不需要匹配整个数据库，其检索时间约为QBE方法的一半，提高了检索效率。

3 结语

两层体系刑侦现勘图像检索方法采用支持向量机对查询图像进行分类，根据分类结果在语义类数据集上进行内容相似性特征匹配和检索。实验结果表明，本文方法在多个检索指标上优于QBE方法，特别是检索时间约为QBE方法的一半。

[1] 边宏波，蒋丽华. 现场勘验实践中存在的问题及解决对策[J/OL]. 北京人民警察学院学报，2008(3)：68-70[2016-07-10].http://dx.chinadoi.cn/10.3969/j.issn.1672-4127.2008.03.018.

[2] 公安机关办理刑事案件程序规定[EB/OL]. [2016-07-22]. http://www.gov.cn/gongbao/content/2013/content_2332778.htm.

[3] 任玉苓. 试析数字图像处理在刑侦技术工作中的应用[J/OL]. 云南警官学院学报，2004(3)：63-65[2016-07-10]. http://dx.chinadoi.cn/10.3969/j.issn.1672-6057.2004.03.023.

[4] 刘波，王永峰. 现场分析与串并案侦查的作用[J/OL]. 河南公安高等专科学校学报，2008(6)：144-144[2016-07-10].http://www.cnki.com.cn/Article/CJFDTotal-HLKD200806048.htm.

[5] 常明，杨厦，陈迪. 适合全国公安机关现场勘验信息系统的图像处理软件的使用与比较[J]. 刑警与科技，2010(1)：33-35.

[6] ZHANG L，RUI Y. Image Search-From Thousands to Billions in 20 Years[J/OL]. ACM Transactions on Multimedia Computing，Communications and Applications，2013，9(1s)：1-20[2016-07-10].http://dx.doi.org/10.1145/2422956.2422959.

[7] WEN C Y，YU C C. Image Retrieval of Digital Crime Scene images[J/OL]. Forensic Science Journal，2005(4)：64-75[2016-07-10]. https://core.ac.uk/display/20778585.

[8] WEI C H，LI Y，GWO C Y. The Use of Scale-Invariance Feature Transform Approach to Recognize and Retrieve Incomplete Shoeprints[J/OL]. Journal of Forensic Sciences，2013，58(3)：625-630[2016-07-10]. http://med.wanfangdata.com.cn/Paper/Detail/PeriodicalPaper_PM23551279. DOI:10.1111/1556-4029.12089.

[9] LIU Y，YAN H Y，PANGLIM K. Study on rotation-invariant texture feature extraction for tire pattern retrieval[J/OL]. Multidimensional Systems and Signal Processing，2015：1-14[2016-07-10]. http://dx.doi.org/10.1007/s11045-015-0373-0.

[10] 刘颖，范九伦，李宗. 现勘图像数据库检索技术实例探讨[J/OL]. 西安邮电大学学报，2015，20(3)：11-20[2016-07-10].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2015.03.002.

[11] 刘颖，黄源，高梓铭. 刑侦图像检索中的特征提取及相似性度量[J/OL]. 西安邮电大学学报，2014，19(6)：11-16[2016-07-10].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2014.06.003.

[12] 黄源. 基于区域语义模板的刑侦图像检索算法研究[D]. 西安：西安邮电大学，2015:1-63.

[13] 兰蓉，贾世英. 基于纹理与颜色特征融合的刑侦图像检索算法[J/OL]. 西安邮电大学学报，2016，21(2)：57-62[2016-07-10].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2016.02.011.

[14] MANJUNATH B S，OHM J R，VASUDEVAN V V. Color and texture descriptors[J/OL]. IEEE Transactions on Circuits and Systems for Video Technology，2001，11(6)：703-715[2016-07-10].http://dx.doi.org/10.1109/76.927424.

[15] 王伟凝，余英林，张剑超. 基于线条方向直方图的图像情感语义分类[J/OL]. 计算机工程，2005，31(11)：7-9[2016-07-10].http://dx.chinadoi.cn/10.3969/j.issn.1000-3428.2005.11.003.

[16] OJALA T，PIETIKINEN M，MENPT. Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7)：971-987[2016-07-10]. http://dx.doi.org/10.1109/TPAMI.2002.1017623.

[17] MANJUNATH B S，MA W Y. Texture features for browsing and retrieval of image data[J/OL].IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18(8)：837-842[2016-07-10]. http://doi.ieeecomputersociety.org/10.1109/34.531803.

[18] 沈恩华. 脑电的复杂度分析[D/OL]. 上海：复旦大学，2004:1-155. http://dx.chinadoi.cn/10.7666/d.y769365.

[19] CHAUDHURI B B，SARKAR N. Texture segmentation using fractal dimension[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17(1)：72-77[2016-07-10].http://doi.ieeecomputersociety.org/10.1109/34.368149.

[20] 张磊. 基于内容的图像检索中人机协同问题的研究[D]. 北京：清华大学，2001：38.

[21] LEE H Y，LEE H K，HA Y H. Spatial Color Descriptor for Image Retrieval and Video Segmentation[J/OL]. IEEE Transactions on Multimedia，2003，5(3)：358-367[2016-07-10].http://dx.doi.org/10.1109/TMM.2003.814792.

[责任编辑：祝剑]

A two-phase hierarchical approach for crime scene investigation image retrieval

LIU Wei1,2， LIU Ying1,3， LI Daxiang1,3， ZHU Tingge1,3

(1. Key Laboratory of Electronics and Information Applied Technology of Crime Scene Investigation,Ministry of Public Security, Xi’an 710121, China;2. School of Computer Science and Technology, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;3. School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

A two-phase hierarchical approach for crime scene investigation image retrieval is proposed. In the first phase, support vector machine with linear kernel function and multi-scale fractal dimension feature are used to classify the class label of the query image. In the second phase, according to the classified label, a smaller dataset only including images with the same label as the query image is picked out from the image database. Then query by example method is used to retrieve images from the dataset. Experimental results show that retrieval accuracy based on the proposed approach is better than that based on conventional query by example method. Particularly, the proposed approach is computationally more efficient than conventional method.

forensic sciences, crime scene investigation image, image retrieval, feature extraction, classifier

10.13682/j.issn.2095-6533.2016.06.007

2016-07-22

国家自然科学基金资助项目(41504115)；陕西省教育厅专项科研计划资助项目(14JK1664)

刘伟(1975-)，男，博士，副教授，从事数字图像处理研究。E-mail:bme_liuwei@163.com 刘颖(1972-)，女，博士，高级工程师，从事图像和视频处理研究。E-mail：ly_yolanda@sina.com

TP391.4；TP751.1

A

2095-6533(2016)06-0035-05