刘 颖,董海涛,樊 安
(1.电子信息现场勘验应用技术公安部重点实验室,陕西西安710121;2.西安邮电大学图像与信息处理研究所,陕西西安710121)
随着道路交通的不断改善,交通事故也呈逐年增长趋势。“醉驾入刑”等相关交通法律的颁布,虽然加大了交通事故的处罚力度,但使得交通肇事逃逸案件发生频率更高,产生了大量的民事和刑事纠纷。通常交通事故中会利用现场留下的痕迹和物证之间的关系解释事故的过程,判断双方责任,而地面轮胎痕迹往往是最有用的痕迹物证之一,根据轮胎痕迹可以快速查找出对应的车型和运动方向与轨迹,从而有效的缩短破案时间。在交通事故中的轮胎压痕主要是轮胎与地面摩擦所产生的痕迹,从痕迹的信息可以了解到轮胎的表面花纹型号和轮胎的受损状况,也可以判定嫌疑人员的逃跑路线和轮胎生产厂家,再通过分析其它因素,判断事故车辆的类别。因此,现场轮胎痕迹图像检索的研究十分重要[1-11]。
轮胎痕迹检索用于公安破案或交通事故处理中的线索获取,行业应用对轮胎痕迹花纹的分析经验对提高轮胎痕迹检索性能是很重要的信息。轮胎痕迹图像内容的特殊性和应用领域的特殊性,决定了基于内容的图像检索方法不完全适用于轮胎痕迹花纹图像检索。为了提高轮胎痕迹图像检索的准确度,本文对轮胎痕迹花纹特点进行分析,并介绍了几种适用于轮胎痕迹图像的预处理方法和特征提取方法,及国内外学者对轮胎痕迹图像检索[12-27]的算法,最后对轮胎痕迹图像检索的发展过程进行分析。
轮胎痕迹图像数据采集较为困难,主要有几种原因:(1)车祸现场的环境情况复杂,容易受到人为破坏导致部分残缺轮胎痕迹图像;(2)汽车在不同的驾驶情况下会与地面产生各种不一的痕迹[5],正常行驶下的痕迹和表面花纹图像一样,紧急刹车时,压痕图像受损严重,汽车处于滑动状态时,导致压痕图像相对于表面花纹图像花纹更宽。(3)现场轮胎痕迹图像受到背景干扰很大,采集到的轮胎痕迹图像不完整,与相应的轮胎花纹图像相比可能是较小的一部分;(4)车辆行驶状态可能导致轮胎痕迹图像发生变化;(5)车胎气压也导致轮胎痕迹发生改变,低气压时,车胎痕迹中间部分暗淡,宽度逐渐减少;高气压时,车胎与地面接触面积减少,痕迹宽度也随之减少,导致车胎痕迹边缘模糊,中间印记明显[14]。图1为轮胎痕迹图像示例。
图1 轮胎痕迹图像示例
轮胎痕迹在实际采集过程中并不能大量收集,每个高校团队收集方式也有所不同。西安邮电大学图像与信息处理研究所(Center for Image and Information Processing,CIIP)依托与公安部共建的重点实验室平台,在不同时间、不同环境(光照及气候)及不同拍摄条件下(视角、距离、尺度、仿射角)采集轮胎痕迹图像720幅,示例如图2(a)。大连海事大学利用油墨式按压或油式按压的方式得到496幅轮胎出厂时的轮胎痕迹图像,将其中每幅轮胎痕迹图像随机截取成同等大小的5张,创建轮胎痕迹图像总共2976幅,示例如图2(b)。吉林大学选用常见车辆的压痕图像40幅,在不同光照情况,尺度下对痕迹图像进行拍摄,共创建160幅轮胎痕迹图像。示例如图2(c)。
图2 轮胎痕迹图像库示例
轮胎痕迹图像检索技术被应用在交通肇事逃逸事故中,目前现有的系统包括车辆痕迹检验计算机系统[3]、轮胎花纹数据库查询系统[13]、轮胎痕迹图像鉴别系统、基于轮胎信息的车辆溯源系统[16]、轮胎花纹识别原型系统与改进系统[17]和事故现场轮胎痕迹智能鉴别系统[20]。
通过对轮胎痕迹图像特点的分析,实际采集到的轮胎痕迹图像受到噪声干扰和人为破坏,质量比较低,不能达到图像检索的目的。为了提高轮胎痕迹图像检索的效果,并且在图像的特征提取中更加有效,对采集到的轮胎痕迹图片进行预处理[34-41],包括图像增强,图像剪裁,图像旋转,灰度变换,滤波去噪和曝光不足的处理等等,流程如图3所示。
图3 轮胎痕迹图像预处理流程
通过预处理,可以减少甚至消除轮胎痕迹图片中的噪声干扰,也可以减少或消除图像模糊,以及背景对于轮胎痕迹图片的影响,方便对车胎痕迹图片进行特征提取。下面介绍几种对图像进行预处理的方法。
增强轮胎痕迹图片对比度的目的是便于有效信息的提取,直方图均衡化是将图片的灰度值直方图均匀的分布,经过直方图均衡的图片灰度值呈现均匀的概率密度分布,以便实现对图片对比度的增强。
文献[27]将分频理论与矩阵奇异值增强方法进行结合,从而达到增强轮胎痕迹图像的对比度。利用巴特沃斯低通滤波器将轮胎痕迹图像分成高频和低频,对低频部分和高频部分分别采用奇异值增强方法和线性方法进行图像增强。通过这种方法对失真的轮胎痕迹图像和过曝光和欠曝光的轮胎痕迹图像都有不错的效果。
文献[39]通过轮胎痕迹图像的特点以及分析其他的图像增强方法的劣势,提出了一种多尺度Retinex图像增强方法。该方法结合单尺度Retinex图像增强方法的3个尺度优点,通过加权组合,进行图像增强。该分法具有很好的自适应性和鲁棒性,实验结果证明,使用多尺度Retinex图像增强方法增强的轮胎痕迹图像效果令人满意。
非局部均值(non-local means,NLM)去噪算法[33]通过计算图像相似像素点的平均灰度从而达到减少噪声的目的。NLM打破了邻域图像滤波方法中的空间相邻约束,消除了其它滤波方法中出现的伪影,通过得到轮胎痕迹图像中的强相关周期性信息,达到去噪的目的。
中值滤波[40]是一种非线性信号处理技术。不但有效的减少了噪声的干扰,而且还对图像的细节进行了有效地保留。把数字图像或序列中某点的领域内点的中值重新作为这个点的值,使得邻域的像素值和真实值差不多,达到消除噪声的目的。
维纳滤波[40]适用于将噪声和有用信号分离的情况下,输出的有用信号为完整的信号。利用最小均方误差准则,将其输出与给定的函数通数学运算达到最小,也称为最小平方滤波器。
决策分析和自适应中值滤波算法结合的消除椒盐噪声方法[27],将有干扰的图像经过决策分析方法分类,并用对应的方法进行处理。在最大限度保存图像信号的同时去除噪声,适用于不同密度的椒盐噪声图像滤波。
图像二值化是将轮胎痕迹图像的点的灰度值设为0或255,然后选择一个合理的阈值,用来反映图像整体的局部特征,把目标图像和图像背景进行有效的分离。最大类间方差法(OTUS)[38]无需先验知识,把目标和背景之间的方差设置为图像二值化的阈值,具有广泛的适应性,但该方法对目标和背景分布不均匀,偏差较大的情况效果不明显。
改进新的阈值选取方法[15],通过分析一致性准则法和最大类间方差法的原理,应用最大熵方法选取最优灰度阈值。实验结果证明,该算法改善了轮胎痕迹图像的质量,让轮胎痕迹图像更加清晰,使不同条件下采集的痕迹花纹图像生成更好的二值化效果。
轮胎痕迹图像检索是基于图像的纹理特征进行的。纹理特征是一种反映图像中同质现象的低层视觉特征,能够很好地表征图像。图像纹理特征提取算法分为全局特征和局部特征。
3.1.1 全局特征
灰度共生矩阵方法(gray level co-occurrence matrix,GLCM)[29]通过计算图像灰度级之间的联合条件概率密度P(i,j|d,θ)表示纹理,原理是将距离为d的两个像素点灰度值作为i和j的概率。θ为0°,45°,90°,135°4 个角度。之后,14 个二阶统计量描述图像的纹理特征被提出,其中角二阶矩(能量),对比度,相关系数,熵和局部平稳(逆差矩)应用最多。
Gabor滤波器[30]提取纹理特征时,将输入图像分为多个图像块,通过中心频率和方向参数来构建滤波器。例如选取8个不同的方向,5个不同的中心频率,得到40个Gabor滤波器;Gabor滤波器与每个图像块进行卷积,得到40个滤波器输出;然后压缩为40×1的列向量作为图像块的纹理特征。
Tamura纹理特征[31]是从心理学角度给出了用于描述纹理的6个特征,分别是粗糙度,对比度,方向度,直线度,规则度和粗细度,已广泛应用在图像检索领域,特别是前3个特征应用更为频繁,但这3种特征并不能有效的辨别特别精细的纹理。文献[33]提出了一种改进的Tamura纹理特征提取算法,利用粗糙度直方图代替粗糙度,边缘角度直方图代替方向度。测试结果证明,通过直方图刻画图像的内容比单一数据更为全面,查准率高于Tamura特征。
文献[36]利用一种基于快速付氏变换图像配准方法对轮胎痕迹图像进行处理。基于付氏变换的配准算法适合存在低频噪声的图像,例如不同光照情况下的图片。此外,该算法将二维付氏变换转换为一维付氏变换,对乘积式做对数操作减少了计算量,准确率较高,用时较少。实验结果表明,该算法使得待测图像与图像数据库中的图像达到了很高的匹配,降低了图像检索时的误差,对车型的判断更加准确。算法流程如图4所示。
图4 快速付氏变换图像配准流程
3.1.2 局部特征
尺度不变特征变换技术(scale invariant feature transform,SIFT)是一种局部特征提取技术。SIFT特征对轮胎花纹图像具有较高的检索准确率,但由于计算量大、计算复杂度高,无法高效处理。
文献[16]通过分析SIFT变换原理和Gabor小波原理,提出了基于SIFT-Gabor变换的轮胎痕迹图像模式识别算法。通过SIFT算子对轮胎痕迹图像提取角点,然后经二维Gabor变换生成40维的特征向量,从而避免了对特征区域图像进行旋转。对40幅种类不同的轮胎压痕图像进行实验,结果表明,该算法减少了特征向量的维度,消耗时间相对于SIFT算法也有明显减少,提高了匹配精度,适用于轮胎压痕图像检索。
低层特征往往很难去表征有助人在花纹检索中理解的语义信息,因此会导致所谓的语义鸿沟(Semantic gap)。图像低层特征与高层语义之间存在的“语义鸿沟”很大程度上影响了图像检索的准确率。为了缩小这种语义鸿沟,采用机器学习算法进行轮胎花纹图像的高层语义特征分析与轮胎花纹识别,进一步提高轮胎图像的分类精度和检索准确率。
文献[12]结合人脑的无监督学习和层次化提取特征提取特性,提出了一种基于稀疏表示和概率潜在语义分析的轮胎痕迹图像检索算法。该算法对轮胎痕图像先进行预处理,再使用基于轮胎图像周期性纹理特征提取算法,以单位面积中各个方位的花纹数量作为图像特征,利用不同的Gabor核函数构造Gabor基词汇表,算出系数向量代表提出特征。将加权后的特征作为轮胎痕迹图像的初级视觉特征,表示在概率潜在语义分析的模型之中,构成特征主题字典后开始稀疏编码。依照编码残缺差与编码系数之间的相似度对轮胎痕迹图像库进行检索实验。实验结果表明,该算法在各种噪声干扰的仿真图像上,前0.2%的平均查准率为99.93%;实际现场待测图检索结果的前2.24%的平均查准率为100%,平均查准率为71.40%。可有效检索轮胎痕迹图像。
文献[19]提出了一种基于非下采样Contourlet变换(non-subsampled contourlet transform,NSCT)和GLCM的组合特征提取与多级支持向量机(support vector machine,SVM)的轮胎花纹图像识别算法。NSCT具有平移不变性、多方向性和多尺度性等优良特性,能很好地表征轮胎花纹图像的边缘信息。提取出的轮胎痕迹特征更好的描述了图像的细微差别。GLCM表征的是二阶图像统计特征,反映了图像在变化幅度,方向和间隔上的有用信息。但是,这两种算法提出的特征融合,在分类识别过程中,并不是每一个特征都是有效的。所以按照选取的有用特征的分离度建立基于决策树的SVM分类器,最终完成轮胎痕迹图像的识别分类。实验结果表明,该算法所得轮胎花纹图像特征分离度高,用SVM对采集的图片进行分类识别时,具有较高的识别率。算法流程如图5所示。
图5 组合特征提取与SVM的轮胎痕迹图像分类流程
随着嫌疑人利用交通工具进行犯罪或者肇事逃逸等交通事故的发生,轮胎痕迹图像检索技术已经成为刑侦破案的主要技术之一。根据近年对现勘图像检索的研究以及公安的实际需求,对仍需解决的问题和研究方向进行探讨。
在国外,为了尽快处理交通事故,每个国家按照自身不同的情况,建立了相应的轮胎信息数据库和车体信息数据库,并将这些数据库集成系统。如以色列建立了车辆轮胎花纹和汽车配件数据库[11-12],利用采集到的轮胎胎面花纹和汽车配件建立数据库,在处理交通事故时,通过现场的事故痕迹确定嫌疑车辆。美国建立了轮胎痕迹图像综合处理系统[12]。我国对轮胎痕迹图像检索相关的研究较迟,没有建立相关数据库,在轮胎痕迹方面的研究也比较简单,主要是通过判断嫌疑车辆的逃跑路线和速度,对轮胎痕迹图像分类,没有标准的轮胎痕迹图像测试数据库,使用是采集规模不一的数据库。因此为了加快轮胎痕迹图像检索的发展,并将科研应用与实际当中,应尽快建立一个标准的轮胎痕迹数据库。
在2012年ImageNet大规模图像识别竞赛(ILSVRC2012)中,使用卷积神经网络(convolutional neural network,CNN)进行图像分类,以83.6%的Top5精度战胜了使用计算机视觉的方法[46]。直到2015年,残差网(ResNet)在1000类的图像识别中以96.43%的Top5准确率超过了人类的水平。近年来,深度学习已经成为计算机视觉领域的研究热点,但是在轮胎痕迹图像检索中,分类研究并没有使用深度学习。因此,将深度学习技术应用在轮胎痕迹图像检索中是非常有必要的。
利用深度学习方法对轮胎痕迹图像进行实验,结果好于传统方法,但轮胎痕迹图像数据库规模太小,神经网络无法得到充分训练,不能很好的发挥卷积神经网络的性能,还需进一步采集轮胎痕迹图像数据库。
在实际刑侦破案过程中,需要通过交通事故现场留下的轮胎痕迹或监控视频拍到的轮胎表面花纹信息判断肇事车辆信息。因此,轮胎痕迹图像和轮胎表面花纹图像之间的比对,是一个重要的研究课题,但目前还没有这方面的有效研究成果。图像风格迁移[46]是指将图像A的风格转换到图像B中去,得到新的图像New-B既包括图像B的内容,也包括图像A的风格。目前尝试把采集到的轮胎痕迹图像作为风格图像,将轮胎表面花纹图像迁移为轮胎痕迹风格图像,然后进行图像比对检索,初步实验得到了不错的效果,还在进一步的研究中。
总结而言,建立基于多种轮胎花纹信息包括轮胎表面花纹、痕迹图像等大数据分析系统是具有理论研究价值并有实际应用价值的研究课题。
刑侦破案及交通事故处理中,需要根据轮胎痕迹对比提供的线索,判断嫌疑车辆从而确定嫌疑人目标。围绕轮胎痕迹图像的预处理和特征提取两项关键技术归纳总结了该领域的研究进展。此外,介绍了现有的轮胎痕迹图像数据库和检索系统,并指出了轮胎痕迹图像检索领域未来的研究方向。