基于重叠条纹特征融合的行人再识别

王琳琳 王微 梁凤梅

摘  要： 针对行人再识别过程中，光照、摄像机设置等因素影响行人图像颜色以及在提取图像特征时丢失部分图像细节的问题，提出一种基于重叠条纹特征融合的行人再识别方法。在提取特征前，对图像进行重叠条纹分割，对所分割的条纹提取HSV颜色直方图和Gabor纹理特征直方图，HSV颜色直方图可以增强图像颜色信息的鉴别性，而重叠条纹分割方法解决丢失图像细节问题，Gabor纹理特征对图像的边缘敏感，增加图像的细节信息，融合所提取的图像特征，形成特征描述子;然后用交叉视角逻辑度量学习算法进行识别;最后在VIPER和GRID图像库上进行实验，rank1分别达到了31.68%和16.32%，rank10和rank20也有明显提高。结果表明所提方法能够提高行人再识别的识别率。

关键词： 行人再识别; HSV颜色直方图; Gabor纹理特征直方图; 重叠条纹; 特征融合; 交叉视角逻辑度量学习

中图分类号： TN911.73?34; TP391              文献标识码： A                    文章编号： 1004?373X（2019）10?0175?04

Pedestrian re?identification based on feature fusion of overlapped stripes

WANG Linlin， WANG Wei， LIANG Fengmei

（Taiyuan University of Technology， Jinzhong 030600， China）

Abstract： In allusion to the problems that the pedestrian image color is influenced by the factors of illumination and camera settings during the pedestrian re?identification process， and image details are partially lost during image feature extraction， a pedestrian re?identification method based on feature fusion of overlapped stripes is proposed. The segmentation of overlapped stripes is conducted for images before feature extraction. The HSV color histogram and Gabor texture feature histogram are extracted for the segmented stripes. The HSV color histogram is used to improve the identification performance of image color information. The overlapped stripe segmentation method is used to solve the lose problem of image details. The sensitivity of the Gabor texture feature to image margin increases the detail information of images. The extracted image features are fused to form feature descriptors， so as to conduct image identification by using the cross?view logical metric learning algorithm. The experimental results of the VIPER and GRID image libraries show that the rank1 can reach 31.68% and 16.32% respectively， and the rank10 and rank20 are also significantly improved， which indicate that the proposed method can improve the identification rate of pedestrian re?identification.

Keywords： pedestrian re?identification; HSV color histogram; Gabor texture feature histogram; overlapped stripe; feature fusion; cross?view logical metric learning

行人再识别的方法主要有两类：基于特征设计法和基于机器学习法。基于机器学习的方法是学习行人再识别模型的优化参数，或者从训练数据中学习有效的特征分类来减少不同行人图像间的相似度[1]。基于特征设计法一般从两方面来研究：特征描述和距离学习。特征描述是寻找对光照和视角变化具有鲁棒性的特征。常用的特征有颜色特征[2]、纹理特征[3]、形状特征[3?4]及多种特征的融合特征[5?6]。文献[5]提取图像稠密的局部块特征，在局部块内提取LAB通道的32维颜色直方图特征和128维的SIFT特征进行融合得到行人图像特征[5]。文献[6]用gBiCov特征来描述行人特征。距离学习是学习特征之间的最佳距离来识别不同的行人，使得同一行人在不同摄像机下的样本相似度大于不同行人之间的样本相似度。ZHENG W S等人引入了一种新颖的概率相对距离比较（PRDC）模型[7]，不同于大多减少类内距离的距离学习方法，它旨在使得一对真正的匹配对比一个错误匹配对的距离更小。

为了解决行人再识别面临的问题，本文提出一种基于特征融合的方法。该方法首先通过Retinex算法[8]对原始图像进行处理，减少光照对行人图像的影响;然后提出一种分割方法，对行人图像进行11条水平条纹分割;对所分割的条纹提取HSV颜色直方图和Gabor纹理特征直方图进行特征融合，形成特征描述子;用距离学习算法进行识别。最后在2个图像库上进行实验，由结果表明可以得到本文方法能提高行人再识别的识别率。

1  重叠条纹特征提取及融合

本文提出一种基于重叠条纹融合的特征提取的行人再识别方法。对图像进行重叠条纹分割，对所分割的条纹提取HSV颜色直方图和Gabor纹理特征直方图。HSV颜色直方图可以增强图像颜色信息的鉴别性，Gabor纹理特征对图像的边缘敏感，重叠条纹分割方法解决丢失图像细节问题。

1.1  HSV颜色特征提取

与别的视觉特征相比，颜色特征对图像自身的尺寸、方向、视角的依赖性比较小，所以具有较高的鲁棒性。颜色直方图描述的是不同色彩在整幅图像中所占的比例，并不关心每种色彩所处的空间位置，也就是无法描述图像里的对象[1]。HSV颜色空间是一个均匀的颜色空间，更接近于人们对颜色的主观认识[1]。

采用HSV空间对图片进行描述，物体色彩的明暗及色调能够直观的表达出来，而且对光照变化不敏感，方便进行颜色之间的对比。HSV的三个分量分别代表色彩（Hue）、饱和度（Saturation）和值（Value），这三个分量是独立不相关的。

1.2  纹理特征提取

Gabor纹理特征是一种使用较为广泛的纹理特征，它在图像检索，图像处理以及人脸识别方面都有着重要的应用[9]。该特征是基于Gabor滤波器发展而成的，Gabor滤波器提取目标的局部空间和频率域信息方面有良好的特征，对图像的边缘敏感，能够提供良好的方向选择和尺度选择特征，而且对于光照变化不敏感，能够提供对光照变化良好的适应性，其处理的数据量较少，计算较为简单[9]。Gabor 纹理特征提取是首先将彩色图像转换为灰度图像，然后再使用Gabor滤波器对其进行滤波得到纹理图像，Gabor滤波器的公式为：

[G（x，y，f，Sx，Sy）=exp-x2Sx+y2Sy2cos（2πfx）x=xcos θ+ysin θ，y=-xsin θ+ycos θ] （1）

式中，[Sx]和[Sy]控制滤波器作用区域的大小;[f]控制滤波器的频率;[θ]控制滤波的方向。将 Gabor 滤波器的参数（[Sx，Sy，f，θ]）设置為（1，2，0.35，0）。

1.3  基于重叠条纹的特征提取

由于光照等原因，同一行人在不同的摄像机下的图像颜色也会发生很大的变化，对所提取的颜色特征有很大的影响，所以引入Retinx变换[8]，在提取颜色特征直方图之前先用Retinx对行人图像进行处理。经过处理后的图像通常包含生动的颜色信息，特别是在阴影区域的增强细节方面有很好的表现。

同一行人在不同的摄像机下的视角不同，如在一个摄像机下为正面图像，在另一个摄像机下为侧面图像。因此，视角改变是行人再识别的一个难题。为了解决这个问题，文献[10]提出把行人图像平均分成6块水平条纹，在每块水平条纹中计算一个直方图。这一方法在解决视角改变方面取得了一定的成功，但在对图像分割时会丢失一些图像细节，所以本文中提出重叠条纹的方法来解决这一问题。在把行人图像分为6块水平条纹之后，再把这一行人图像的顶部和底部去掉，剩余的部分平均分为5块水平条纹，最后提取11块水平条纹的图像特征。对于每一块水平条纹，提取Gabor纹理特征直方图和8×8×8?bin的HSV颜色特征直方图。

1.4  特征融合

为了使所得到行人图像特征更具鲁棒性，本文融合图像的HSV颜色特征直方图和Gabor纹理特征直方图描述行人图像。具体为串联HSV颜色特征直方图和Gabor纹理特征直方图这2种特征，形成行人图像特征描述子[11]。

2  相似度度量函数的学习

本文采用半正定约束的逻辑度量学习方法进行相似度度量函数的学习[12]。有一个交叉视图训练集{X，Z，Y}，[X=x1，x2，…，xn∈Rd×n]表示d维空间中一个视角上包含n个样本，[Z=z1，z2，…，zm∈Rd×m]表示d维空间的另一个视角上包含m个样本，[Y∈Rn×m]是X和Z之间的匹配标签，[yij=1]表示[xi]和[zj]是用一类，[yij=-1]则表示不是同一类。当[y=1]时，把（X，Z）称为正样本对;[y=-1]，则为负样本对。本文的目的是想要学习一个马氏距离函数[12]来度量交叉视角样本之间的距离，马氏距离函数表示为[D2Mx，z=x-z2M=x-zTMx-z]，[M≥0]是一个半正定矩阵。为了学习上述度量函数[D2M]，采用一个损失函数[fMx，z=log1+eyD2Mx，z-μ]，总体损失函数为[FM=i=1nj=1mωijfMxi，zj] ，如果[yij=1]，则[ωij=1Npos]，否则[ωij=1Nneg]，[Npos]和[Nneg]分别为正采样对数和负采样对数。交叉视角逻辑度量学习问题表达为：[minMFM]，[M≥0]。应用近端梯度快速解决方法[12]解决得出[FMt-FM?≤2γLM0-M?2Ft+12] ，[M?]为式（2）的最优解，即得到所需的度量函数矩阵[M]。

3  实验及结果分析

本节利用2个常用行人再识别图像数据库，分析本文方法在2个图像库上的识别性能[12]。每次在相同的条件下重复进行10次实验，取10次实验结果的平均值作为测试结果，并用累积匹配特性（CMC）曲线进行评价。

3.1  行人再识别图像库

VIPER图像库[13]是最有挑战的行人再识别图像库之一，包含632對行人图像，由2个摄像机在户外拍摄。VIPER中的图像同一行人在背景、光照和视角方面有很大的不同，所有的图像规格都为128×48像素。

GRID图像库[8]包含250对行人图像对， 每一对都是来自不同相机视图的同一个人的两张照片，此外，还有775幅不属于250人的图像，用来扩大图像库。该图像库是从一个地下站的8个不相交的摄像机中获取得到的。行人图像的分辨率较低，而且光照和视角有较大的变化，所有的图像规格都归一化为128×48像素。

3.2  实验结果

VIPER上的632对图像随机选取一半做训练，另一半做测试，训练和测试的行人数相同。为验证融合特征的性能，表1给出使用单一特征和融合特征的实验对比。

从表1的实验数据可以看出，只使用Gabor纹理特征直方图比只使用HSV特征直方图rank1提高了4%，rank10和rank20也有明显提高;本文算法使用两种融合特征直方图rank1，rank10和rank20分别达到31.68%，73.96%和86.20%，识别率有了明显的提高。

为了验证11块水平条纹分割方法对本文算法的影响，表2给出6块水平分割和本文方法的实验对比。从表2的实验数据可以看出，使用重叠条纹分割比均匀分割rank1，rank10和rank20分别提高了2.79%，3.71%和1.47%，识别率有了一定的提高。

为验证本算法的性能，将其与较有代表性的算法进行比较，根据各算法绘制CMC曲线如图1所示。

图1  各方法在VIPER图像库上的CMC曲线

采用GRID图像库中的125对图像做训练，剩下的125对图像和775幅图像做测试，为了验证本算法的性能，将其与比较有代表性的算法进行比较，根据各算法绘制CMC曲线如图2所示。

图2  各方法在GRID图像库上的CMC曲线

表3给出了各个方法在2个图像库上的rank1，rank10和rank20的识别率。从表3可以看出，与其他方法相比较，本文方法在2个图像库上的识别效果均达到最好，rank1分别达到了31.68%和16.32%。文献[5]提取图像的LAB颜色直方图和SIFT特征，KISSME算法提取图像的HSV和LAB颜色直方图，LBP纹理直方图，两种算法在提取特征时都是将图像分为图像块，提取图像块的特征，相比于本文算法，破坏了图像局部细节，使得识别率低于本文算法;PRDC提取图像RGB，YCbCr，HSV颜色特征和Schmid，Gabor纹理特征，在提取特征时，将图像平均分为6块水平条纹，破坏了图像细节，识别率较低;文献[6]提取图像的gBicov特征，LMNN算法提取图像单一特征，所提取的图像特征较少，识别率低于本文识别率。

4  结  语

本文提出一种基于重叠条纹的颜色和纹理特征融合的行人再识别方法，融合HSV颜色特征直方图和Gabor纹理特征直方图形成特征描述子对行人进行再识别。在提取特征时采用重叠条纹分割方法，在2个行人再识别图像库上对本文方法进行实验，结果表明，重叠条纹分割方法可提高识别率，本文方法在VIPER图像库和GRID图像库上的rank1分别达到31.68%和16.32%，提高了行人再识别的性能，具有实用价值。本文在对图像特征进行提取时，所提取的特征较少，以后的工作可以融合多种颜色特征和纹理特征对行人图像进行再识别。

参考文献

[1] 陈莹，霍中花.多方向显著性权值学习的行人再识别[J].中国图象图形学报，2015，20（12）：1674?1683.

CHEN Ying， HUO Zhonghua. Person re?identification based on multi?directional saliency metric learning [J]. Journal of image and graphics， 2015， 20（12）： 1674?1683.

[2] FARENZENA M， BAZZANI L， PERINA A， et al. Person re?identification by symmetry?driven accumulation of local features [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 2360?2367.

[3] BAK S， CORVEE E， BREMOND F， et al. Person re?identification using spatial covariance regions of human body parts [C]// Proceedings of 7th IEEE International Conference on Advanced Video and Signal Based Surveillance. Boston： IEEE， 2010： 435?440.

[4] IODICE S， PETROSINO A. Salient feature based graph matching for person re?identification [J]. Pattern recognition， 2015， 48（4）： 1074?1085.

[5] 霍中花，陈莹.基于多显著性融合的行人再识别[J].光电工程，2015，42（9）：41?47.

HUO Zhonghua， CHEN Ying. Person re?identification based on multi?salience fusion [J]. Opto?electronic engineering， 2015， 42（9）： 41?47.

[6] MA B， SU Y， JURIE F. Covariance descriptor based on bio?inspired features for person re?identification and face verification [J]. Image and vision computing， 2014， 32（6）： 379?390.

[7] ZHENG W S， GONG S， XIANG T. Re?identification by relative distance comparison [J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（3）： 653?668.

[8] LIAO S， HU Y， ZHU X， et al. Person re?identification by local maximal occurrence representation and metric learning [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 2197?2206.

[9] 刘皓.基于多核学习的无重叠视域多摄像机行人再识别问题研究[D].合肥：合肥工业大学，2014.

LIU Hao. Research of problems of non?overlapping multi?camera pedestrian re?identification based on multiple kernel learning [D]. Hefei： Hefei University of Technology， 2014.

[10] PROSSER B， ZHENG W S， GONG S， et al. Person re?identification by support vector ranking [C]// Proceedings of British Machine Vision Conference. Aberystwyth： [s.n.]， 2010： 1?11.

[11] 袁立，田子茹.基于融合特征的行人再识别方法[J].模式识别与人工智能，2017，30（3）：269?278.

YUAN Li， TIAN Ziru. Person re?identification based on multi?feature fusion [J]. Pattern recognition and artificial intelligence， 2017， 30（3）： 269?278.

[12] LIAO S， LI S Z. Efficient PSD constrained asymmetric metric learning for person re?identification [C]// Proceedings of IEEE International Conference on Computer Vision. Santiago： IEEE， 2015： 3685?3693.

[13] K?STINGER M， HIRZER M， WOHLHART P， et al. Large scale metric learning from equivalence constraints [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Providence： IEEE Computer Society， 2012： 2288?2295.