二级分区下颜色融合纹理的刑侦图像检索

兰 蓉 母保洋

(西安邮电大学通信与信息工程学院 陕西 西安 710121) (电子信息现场勘验应用技术公安部重点实验室 陕西 西安 710121) (陕西省无线通信与信息处理技术国际合作研究中心 陕西 西安 710121)

0 引 言

随着犯罪率的不断上升，采用现场拍摄图像来获取、保存犯罪证据已经成为公安机关的一种常用手段。因此，对刑侦图像进行快速、准确、专业地处理显得尤为重要。其中，对于刑侦图像检索算法的研究可以有效提高办案效率，因此受到广泛关注。

现存的刑侦图像检索算法主要是基于内容的图像检索[1](Content-based image retrieval，CBIR)。在CBIR中，图像以视觉内容来建立索引，如颜色[2]、纹理[3]、形状[4]、结构特征[5]等，计算查询图像与目标图像的相似度，按照特征匹配进行检索[6]。但是由于刑侦图像数据库(Crime Scene Investigation,CSI)具有图像包含多目标、场景复杂、目标不确定的特点[7]，使其不同于一般的自然图像库，所以目前国内外关于刑侦图像检索算法的研究相对较少[8]。为了提高刑侦图像检索的准确性，文献[9]提出一种将颜色距结合8方向6参数的灰度共生矩阵的检索方法，但是8方向中存在4对共线方向，因此容易产生特征冗余。文献[10]将形状特征应用到刑侦图像检索中，但是其检索准确率有待提升。文献[11]将三层小波变换结合非等间隔量化的HSV直方图实现检索，但是提取的颜色特征缺乏空间信息。以上3种算法均缺乏对图像局部区域特征的提取，因此影响了检索的准确率。

针对上述算法对图像局部区域特征描述的缺陷，基于算法的有效性与复杂度的考虑，本文采用二级分区将图像划分成局部子块区域，同时以颜色自相关图作为子块的颜色特征，以双树复小波结合多方向多参数的灰度共生矩阵作为子块的纹理特征，以串行的方式融合子块区域特征，再利用 KPCA[12]进行特征选择，剔除冗余数据，降低算法计算复杂度，并以欧式距离作为相似性度量，提出二级分区下颜色融合纹理的刑侦图像检索算法，并以实验验证其检索性能。

1 颜色特征

由于刑侦图像均由现场拍摄获得，包含丰富的颜色信息，所以颜色信息是反映刑侦图像的重要特征之一。本文选取包含像素点空间颜色信息的颜色自相关图作为颜色特征。

由于常用于图像颜色特征提取的颜色直方图只统计了不同颜色在图像中所占比例，缺乏对图像像素点颜色空间信息的描述。为此，颜色相关图(Color Correlogram)与颜色自相关图(Color Auto-correlogram,CAC)[13]被提出。

颜色相关图表示的是图像I不同像素点颜色值之间的空间关系。设p1、p2是图像的任意两个像素点，p1∈Tci，p2∈Tcj等价于p1，p2∈I，则颜色相关图的定义如下：

颜色自相关图是颜色相关图的简化，定义为：

与颜色相关图相比，颜色自相关图只计算具有相同颜色像素点之间的空间关系，计算复杂度低、计算速度快、存储空间小，所以本文选取包含空间信息的颜色自相关图作为图像颜色特征Tci。

2 纹理特征

除颜色信息之外，刑侦图像中很多种类，如指纹、轮胎等图像还包含着丰富的纹理信息。仅采用颜色特征描述，容易造成算法对图像的区分度较低的不足，因此本文选择双树复小波融合灰度共生矩阵提取图像的纹理特征。

2.1 双树复小波变换

经典的小波变换[14]在提取纹理特征时存在平移敏感、方向选择不足等缺点。为解决此问题，Kingsbury等于1998年提出双树复小波变换(Dual-tree Complex Wavelet Transform,DT-CWT)[15]。DT-CWT是由两个平行的小波树A和B构成的，变换公式为：

ψ(t)=ψr(t)+jψj(t)

(3)

式中：实部ψr(t)由上小波树A生成，虚部ψj(t)由下小波树B生成，且树A的滤波器长度为偶数，树B的滤波器长度为奇数，目的是保证滤波器之间的半采样延迟。有关实验结论表明该方法能够显著改善离散小波变换的平移敏感性，并能够产生±75°、±45°、±15°六个不同方向的高频子图[16]。在上述方向提取图像系数矩阵，能够更为具体地描述图像的纹理，同时保留边缘等细节信息。一维双树复小波变换如图1所示。

图1 一维双树复小波变换

2.2 多参数灰度共生矩阵

灰度共生矩阵是像素之间距离和角度的矩阵函数，它通过计算图像中具有一定距离和方向的两个像素点灰度之间的相关性来反映图像纹理在间隔、方向、变化幅度以及快慢上的综合信息。

设大小为M×N的图像的像素坐标(x,y)的灰度分布为f(x,y)，那么灰度共生矩阵可以表示为在角度θ方向上灰度值分别为f(x1,y1)=i和f(x2,y2)=j距离为d的频率相关矩阵[17]：

P=[pij(d,θ)]

(4)

设图像的灰度级用L表示，当θ取0°、45°、90°、135°时，灰度共生矩阵表示如下：

p(i,j,d,0°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=d,

y2-y1=0,f(x1,y1)=i,f(x2,y2)=j}

(5)

p(i,j,d,45°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=d,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(6)

p(i,j,d,90°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=0,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(7)

p(i,j,d,135°)=#{[(x1,y1),(x2,y2)]∈

L×L|x2-x1=-d,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(8)

在计算灰度共生矩阵时，为了避免过多的灰度级带来的庞大的计算量，首先将灰度级均匀量化为16级，然后再进行相关计算。在得到的灰度共生矩阵的基础上，通过以下6个参数来描述纹理:

在式(13)、式(14)中:

式(9)-式(14)分别表示能量、熵、惯性矩、逆差距、相关指数、方差。通过这6个参数，图像纹理的特性被有效地表达。统计0°、45°、90°、135°四个方向下的六个纹理参数，这样就可以得到24个纹理特征值，较传统的四参数灰度共生矩阵法，可以提取到更丰富的纹理特征。此纹理特征比文献[9]的八方向的灰度共生矩阵纹理特征的计算复杂度更低，也减少了因4对共线方向所产生的特征冗余。

由于灰度共生矩阵是对尺度纹理特性的一种描述，所以可以弥补双树复小波缺少对不同尺度纹理空间分布描述的缺陷。因此双树复小波融合灰度共生矩阵能够提取更为细致的纹理特征Tti。

3 二级分区下颜色融合纹理的检索算法

由于刑侦图像的特殊性，融合图像全局的颜色特征与纹理特征仅涉及图像全局信息，对于图像区域的局部细节信息提取不足，缺乏对图像目标与背景的区分。

如图2所示，从人眼直观感受的角度看，该图的目标与背景颜色相近，使得图像检索结果易受背景影响。同时，由于匕首这类作案工具的形状特点，使得该图像中目标相对背景而言，所占像素的比例相对较小，即，图像中大部分区域是背景，并不包含有效目标。此时，常用的全局特征提取方式容易使目标区域的特征淹没在大量无效的背景区域的特征中，从而造成检索结果的准确性降低。若对该图像进行区域划分，可将其分为包含目标的局部区域与不包含目标的背景局部区域两类图像块。此时，针对划分后的局部区域图像块，分别提取其颜色特征与纹理特征，这种特征将包含原图像的局部空间结构信息。

图2 示例图像及其分块

为获取更有效的刑侦图像特征描述，本文算法先对图像进行区域划分，再提取局部区域的颜色特征与纹理特征，最后融合局部区域特征对图像进行刻画。

3.1 区域划分与局部区域特征提取

为了将图像划分为目标区域与背景区域两类，且尽可能降低算法的复杂度，本文采用简单区域划分方式。假设图像的大小为M×N,划分后子块的大小为m×n，图像与子块的关系如下：

M=2mN=2n

(15)

Ω=4ξ

(16)

图3 分区示例图

在刑侦图像中以这种方式划分区域，若划分出对图像区分度贡献不大、没有实质性目标的空白区域图像块，则把这些区域的特征值统一赋值为1或者0。

按上述方式划分区域后，按照图3中的图像块数字顺序分别依次提取各区域的颜色特征与纹理特征，构成局部区域特征[Tci,Tti]，以串行的方式把各个局部区域特征融合，融合后的图像特征向量为T=[Tc1，Tt1,Tc2,Tt2,…,Tci,Tti,…,TcΩ,TtΩ]，其中Ω代表图像块的个数。

3.2 基于KPCA的特征选择

由于上述融合局部区域特征获得的图像特征向量存在维度过高和空间特征冗余的缺陷，从而影响检索准确率并降低算法运行效率。因此，有必要对融合后的特征向量进行特征选择，在提高算法效率的同时改善检索精度。由于刑侦图像内容丰富，特征之间一般存在非线性关系，因此本文选择KPCA[18]进行特征选择。

KPCA方法通过核函数把线性不可分的数据映射到高维空间中，使用主成分分析法进行降维。给定样本数据Xt,t=1,2,…,N,N为输入样本的个数，定义Φ：RM→F,Xt→Φ(Xt)，RM为输入空间，F为映射空间。定义mΦ,e为:

其中R1×N为样本空间。

F的协方差矩阵为：

其中X=[X1,X2,…,XN]。

KPCA是求解特征值λKVK=∑VK,其中λK对应的特征向量为VK。若K表示式(17)所示的核矩阵，则由式(18)、式(19)可推导出式(20)、式(21)。

K={K(Xt,Xj)}tj={Φ(Xt),Φ(Xj)}tj

(17)

通过上述分析，基于KPCA的特征选择步骤如下：

(1) 提取图像库中所有图像的特征，得到特征矩阵Γ，图像的特征向量为Fl=[f1,f2,…,fN]，ft∈R2 016。其中，向量维度=(颜色特征维度+纹理特征维度)×区域个数。

(3) 取αK的前p个分量用于式(22)做投影，即在KPCA空间降维后，选择β=[β1,β2,…,βp]作为用于相似性计算的特征向量。

3.3 算法步骤

本文提出二级分区下颜色融合纹理的刑侦图像检索算法，具体算法步骤如下：

步骤1区域划分。按照4.1节将图像进行二级区域划分，划分后的区域个数为K。

步骤2特征提取。依次提取各局部区域的颜色自相关图特征Tci和双树复小波融合6参数4方向的灰度共生矩阵的纹理特征Tti，并将Tci和Tti融合，以此获得局部区域特征[Tci,Tti]。

步骤3区域融合。以串行的方式融合局部区域特征构成图像特征向量，并进行特征归一化处理。归一化图像特征为：

步骤5相似性度量。计算目标图像特征与刑侦图像库中的图像特征之间的欧式距离，将计算结果作为相似度，并按从小到大排序，得出检索结果。

4 实验结果及分析

本文算法的仿真系统环境为Windows 10，CPU为Intel Core i5-3230M，双核，运存为8GB，操作系统为64位，编程软件为MATLAB R2016a。

算法仿真实验图库来自实用现勘(Crime Scene Investigation，CSI)数据库。图库1是文献[10]所采用的300幅刑侦图像库，共6类，分别为轮胎、汽车、现场、鞋印、作案工具以及指纹，每类50幅，除现场外，其他5类图像均目标单一。图库2[19]是具有代表性的CSI子库，分为车辆、道路、建筑、门、指纹、鞋印、工具、血迹共8类，每类50幅，总共400幅，均为多目标图像。

本文使用的评价指标为精确度(precision)和召回率(recall)，计算公式为：

式中：R1为检索返回的相似图像数目，R2为检索返回的图像数目，R3为图库中同类图像的数目。

本文在图库1上对分区级别与相似性度量的选取进行测试实验，每一次确定R2值，所有图像均参与检索。选取平均精确度和平均召回率作为算法评价指标。

基于算法时效性的考虑，实验中颜色自相关图中的距离个数、像素点间距k以及灰度共生矩阵中的d均取值1，特征选择中p取值为275。

4.1 不同分区级别对比

由于不同分区级别会有不同的实验结果，因此本文在图库1中通过分别对不同级别的分区处理进行测试实验，由于考虑到分区越多，算法复杂度增加，时效性降低，因此只比较前三级分区的实验结果，如表1所示。

如表1中的平均精确度与召回率所示，当返回图像为24幅时，有88.61%的图像与检索图像相似，检索结果最优。由于分区过少时，过大的图像块对局部区域信息表达较粗略，没有实质性区分图像的目标与背景；而分区过多时，过小的图像块又难以表达图像的局部区域信息。因此本文算法选取二级分区作为图像的区域划分方式。

表1 不同分区级别实验结果 %

4.2 相似性度量的选取

在图像检索中，检索结果易受相似性度量方式的影响。本文在图库1中通过大量的测试实验对欧式距离、街区距离、d1距离[20]以及切比雪夫距离共4种常用的相似性度量公式进行检索结果对比，其中d1距离的计算公式如下：

式中：T=[t1,t2,…,tM]为图像库的任意图像的特征向量，Q=[q1,q2,…,qM]为查询图像的特征向量，M为特征向量的维度。R2取不同值时的实验结果如图4与图5所示。

图4 4种相似性度量方式平均precision曲线图

图5 4种相似性度量方式平均recall曲线图

图4与图5表明，采用欧式距离作为相似性度量进行检索，其精确度和召回率均高于其他三种度量方式。文献[8]的实验结果表明街区距离在刑侦图像检索中表现较好，原因在于提取的特征存在冗余与异常数据的情况，同时街区距离对数据计算的鲁棒性较好。而本文算法由于在相似性度量前加入KPCA特征选择，冗余与异常数据被去除，所以在欧式距离相似性度量下本文算法表现最佳。因此本文算法选择欧式距离作为检索的相似性度量能保持较好的检索性能。

4.3 特征选择前后比较

为验证特征选择对于检索结果的影响，本文在2个图库上进行特征选择前后的检索平均精确度与召回率对比,结果如表2所示。

表2 特征选择前后实验结果对比 %

由表2可知，在精确度与召回率上，本文算法的检索结果优于特征选择前的检索结果。原因在于本文算法采用KPCA进行特征选择，剔除冗余特征的同时降低图像特征的维度，从而降低了计算复杂度，同时改善算法的检索性能，检索精确度与召回率均有所提升。

4.4 检索结果与分析

为直观地显示本文算法的检索优势，由于图库1中的示例图像2的目标与背景颜色相近，因此选取其作为检索目标图像。将相关的文献[9]、文献[10]、文献[11]、TCAC(Texture and Color Auto-correlogram)以及本文算法做检索结果对比。其中的TCAC是本文所设计的颜色融合纹理的检索对比算法，该算法采用多参数的灰度共生矩阵结合双树复小波提取图像的纹理特征，再融合由颜色自相关图提取的图像的颜色特征，从而获得图像的融合特征，并以街区距离作为相似性度量方式实现检索。检索结果如图6-图10所示。返回图像数为10幅。篇幅有限，图库2检索示例不再展示。

图6 文献[9]

图7 文献[10]

图8 文献[11]

图9 TCAC

图10 本文算法

从检索结果中的相似刀具图像可以看出，本文算法由于采用二级分区处理，将待检索图像划分为含有目标和不含有目标的两类图像块，提取的图像特征在一定程度上包含对图像的背景与目标的区分，而且具有空间结构信息，因此检索出10幅相似图像，优于其他4种算法的检索结果，具有良好的检索效果。

为客观评价本文算法的整体检索性能，将文献[9]、文献[10]、文献[11]、TCAC以及本文算法在2个图库上的平均精确度与平均召回率实验结果进行比对，R2取不同值时的实验结果曲线图如图11-图14所示。

图11 图库1不同算法平均precision曲线图

图12 图库1不同算法平均recall曲线图

图13 图库2不同算法平均precision曲线图

图14 图库2不同算法平均recall曲线图

如图11-图14中平均精确度与召回率曲线图所示，本文算法的曲线图均高于其他4种算法的曲线图，表现出良好的检索效果。首先，在图库1上，当R2=10时，本文算法比文献[9]、文献[10]、文献[11]、TCAC这4种算法在平均精确度上平均高出11.38%，说明本文提出的分区域特征提取融合能够有效地提升刑侦图像检索精确度；其次，在图库2上，当R2=10时，本文算法比文献[9]、文献[10]、文献[11]、TCAC这4种算法在平均精确度上平均高出5.37%，说明本文算法对于多目标刑侦图像检索也具有较好的鲁棒性。由于文献[9]、文献[10]、文献[11]以及TCAC是图像的全局特征融合，存在对图像局部特征信息提取不足的缺陷，检索精确度较低。而本文算法在前期经过分区域处理后，首先以图像的各个局部区域进行特征提取，提取的图像特征包含图像的局部空间信息。其次，融合局部区域特征来充分刻画图像，获得图像的更加丰富的特征信息。因此对图像之间的区分度更高，检索结果较好。为进一步体现本文算法在刑侦图像库的各个类别上的检索性能优势，统计R2=10时，图库1在各类图像的平均精确度实验结果，如表3所示。

表3 图库1各类图像平均精确度 %

从表3可知，3种文献算法以及TCAC的检索精确度不高，而本文算法针对所有类的平均精确度为93.97%，尤其是轮胎、汽车、现场、指纹、作案工具这5类图像的平均精确度均处于90%以上，高于其他4种检索算法的检索结果。

5 结 语

针对现存的刑侦图像检索算法对图像局部区域特征信息提取不足的缺陷，本文提出一种二级分区下颜色融合纹理的刑侦图像检索算法。通过本文算法与特征选择前的算法对比实验结果可知，在局部区域特征融合后，KPCA特征选择可以降低算法的计算复杂度，有效提高检索性能以及算法的鲁棒性；通过本文算法与4种算法的对比实验结果可知，将图像分区域特征提取并进行区域融合，与已有的刑侦图像检索算法相比，在加入图像空间结构信息的同时，充分利用了图像的局部区域特征，可以有效地提高刑侦图像检索的准确性。

但是本文算法在纹理特征的提取过程上仍然具有一定的复杂度，未来将改进算法的纹理特征提取过程，以进一步提高检索精确度。