基于混合高斯模型与联合特征的行人检测方法

郑 锐， 邵宗凯

(昆明理工大学 信息工程与自动化学院，云南 昆明 650500)



基于混合高斯模型与联合特征的行人检测方法

郑 锐， 邵宗凯

(昆明理工大学 信息工程与自动化学院，云南 昆明 650500)

针对视频环境下行人检测多数采用窗口滑动方法识别慢、不能快速找到行人窗口的缺点，提出了一种基于组合算法的行人目标识别方法，利用高斯混合模型方法提取视频中的运动前景，划定一个泛目标窗口，再使用HOG-l bp联合特征训练的分类器对泛目标窗口进行分类，得到分类结果，对行人目标进行标记。经实验验证:该方法相对于当前行人检测方法，检测速度和正确率都取得了很好的效果。

行人检测； 混合高斯模型； HOG-l bp 前景

0 引 言

近年来,机器视觉中的物体检测得到了极大的关注度，行人检测由于其广泛的应用成为机器视觉领域的一个研究热点[1]。机器视觉在交通与工业辅助方面应用广泛，如基于视觉传感器的运动目标跟踪[2]，基于视觉信息的仪表读数[3]，轨道的变形检测[4]等，而基于深度信息的Kinect等传感器还可更进一步针对细节信息进行分析[5]。

运动的行人检测按照使用传感器类型来说可以分为两类:一类是基于多传感器信息[6];另一类是单摄像头。当前流行的行人检测方法是Dalal N等人提出的基于梯度方向直方图特征结合支持向量机(SVM)训练分类器进行行人检测[7]。经过发展，检测方法在联合特征融合上寻找提高行人检测正确率的方法。例如:Wang X等人[8]提出了一种基于梯度方向直方图特征与图像纹理特征相结合的检测方法。为了减小特征维度高在检测准确性与实时性方面造成的损失，黄茜等人[9]引进积分图方法提高了计算梯度直方图(HOG)特征的速度，节省了特征提取的时间；汪成亮[10]、Jiang J等人[11]通过主成分分析(PCA)方法对HOG描述子进行降维处理，提高待分类窗口的侦测速度。文献[10]和文献[12]使用改进的背景建模的方法构造实时更新的背景帧，利用当前帧与背景帧差分得出视频序列中的运动前景目标，此方法兼具准确性与实时性的优点[13]。

本文以固定摄像机近距离道路监控为前提，提出了一种行人检测方法，针对固定安装的监控视频，拍摄的场景为一般道路与室内场景，监控设备处在目标近距离处，人体目标在摄像画面中占有一定的大小，人体较清晰。

1 运动目标区域提取

本文采用基于改进的混合高斯模型的背景建模方法[14]，建立背景模板并实时更新。

1.1 改进的高斯背景模型的一般形式

假设视频图像的序列每个像素点在时间上表示为

{X1，X2，X3…Xt}={I(x0,y0,i):1≤i≤t}

(1)

式中I为视频帧图片；t为帧的具体编号；Xt为某一帧在(x,y)位置的像素值，一般混合高斯的表示即为针对每一像素值进行建模，所用的混合高斯模型[14]为

(2)

式中 k为混合高斯模型中高斯分布的个数；wi,t为各高斯分布t时刻的权值；ui,t为第i个高斯分布t时刻的高斯分布均值；∑i,t为t时刻第i个高斯分布的协方差；p(Xt)为高斯背景模型的概率函数。

针对混合高斯背景模型对所有的图像像素点采用不加区别的相同分布数和相同的采样周期计算像素的概率密度的问题，将模型分成短期模型和长期模型[15]，对于一般的非疑似行人区域的像素点使用短期模型建模，对于疑似的运动区域通过调整系数扩大后使用长期模型，以改进模型采样时间长造成占用内存大，运算时间长的问题。

对于图像上的包含前景的样本，设置一系列的对应指示器b(1),b(2),b(3)，…，b(m),指示器b(m)为0时表示样本被判定为前景；指示器b(m)值为1时，被判定为背景，并对其采用不同的建模方式[13]。

在模式被判定为1时高斯背景模型的更新公式为

μi←(1-βi)μi+βix

(3)

(4)

权重的更新公式为

wi,t←(1-α)wi,t-1+αb(m)

(5)

分别对短期模型和长期模型建立不同的方差模型，更新公式如下

(6)

(7)

选取的改进高斯混合模型背景建模方法对于组合方法的性能提升主要表现在以下2方面：

1)一般道路摄像机的拍摄特点，拍摄的角度固定，受光线影响较大，混合高斯模型背景更新相对帧差等方法提取的背景具有较好的鲁棒性；

2)针对道路场景下行人移动速度较低的特点，使用改进高斯背景建模的长期和短期模式能够更好适应背景更新的要求。

1.2 提取疑似目标区域

背景差法，即将当前图像帧像素与通过混合高斯背景模型建立的背景帧像素差分，差分图像即为待检测区域，

P(x,y)=I(x,y)-B(x,y)

(8)

式中 P(x,y)为前景待处理图像；I(x,y)为当前图像；B(x,y)为高斯背景建模图像。针对由于重建的背景图像相对于真实背景存在差异造成差分图像存在误差的问题，采用图像处理中的形态学处理方法，对差分图像先进行腐蚀操作，去除图像中的噪点信息，再进行膨胀处理，连通可能的运动区域，采用阈值化与二值化等处理方法得到干净的二值化图像，如图1所示。

图1 待检测窗口的提取

2 运动人体的检测

2.1 HOG特征[16]

采用的HOG特征方法使用dalal的方法[7]，将8像素×8像素组成一个单元，将2单元×2单元组成一个块，将检测窗口设置为128×64，HOG特征具体的计算过程[7]：

1)输入大小为128×64的图片，对图片进行灰度化处理；采用伽马校正方法对输入的图像进行颜色空间的标准化(归一化)，降低图片阴影和光照的影响，同时抑制噪音干扰；

2)计算每个像素的梯度在水平方向和垂直方向的梯度，得出该像素点的梯度幅值和方向特征，如下

(9)

(10)

3)将8像素×8像素点组成一个单元，将每个单元的梯度方向按照0°～180°划分为9个通道，每个像素点根据方向权值为其所在的通道投票，每2单元×2单元组成一个块，每个块中的梯度直方图相串联即为块的直方图向量；

4)块的梯度直方图特征即为每个块的特征的串联。选取高128像素、宽64像素的窗口作为检测窗口。

文中实验采用HOG特征维度为3 780维。

2.2 局部二值化模式特征与HOG特征的训练

局部二值化模式(LBP)特征通过设立采样点与相邻像素灰度相对比得出相邻像素点取0或取1来表示像素点的局部的纹理特征，由于表示的纹理特征采用二进制格式，像素编码方式不同，所得到的像素特征维数也不相同，本文采用LBP特征模式中的平均模式进行编码[8]。窗口大小同样采取128×64，以适应HOG特征的窗口。

由于HOG特征和LBP特征分别有3 780维和1 888维，为避免模型维数过多对运算速度和识别准确率造成不利影响，采用PCA对HOG和LBP的特征维数进行降维处理[17]。将降维后的HOG和LBP串联输入线性支持向量机学习模型中进行学习，得出学习后的模型，本文参考文献[10]的经验，将PCA降维后的HOG特征设置为100维，LBP特征设置为50维，经实验验证：采用此特征维数的特征在保证准确率合理的情况下可以取得最大的识别速度。

3 实验与仿真

3.1 实验平台与样本集

实验平台为一台笔记本，CPU为Intel品牌i3处理器主频为2.3 GHz的，操作系统为Win7，软件系统为VS2010搭配OpenCV2.9版本。选用INRIA行人数据库(图2)作为训练样本，数据库中包括正样本(含行人的照片)2 146张和3 654张不含人体的负样本图片，正负样本的大小均为宽高64×128。INRIA行人数据库的所有正样本图片的人体都经过镜像处理，故对于行人的形态具有良好旋转不变性。

图2 INRIA行人数据库

测试数据为使用手机拍摄的4段像素为640×480的视频，均为办公楼内部场景，由于在室内场景下会出现走廊栏杆遮挡等不利因素，对于视频分析不利，对于这部分帧图像在统计时予以忽略。视频为外部场景的情境下，由于拍摄的情景对于行人角度存在一定偏移，会对实验的结果产生不利影响，经过统计，在所有的4段视频图片帧中一共11 841张图片中出现符合要求的行人约为32 453。

3.2 实验结果对比与分析

实验中，综合考虑到漏检率与行人窗口可能的大小，检测窗口滑动步长设置为16像素，实验结果表明:文中使用的混合高斯背景差与联合特征的行人检测方法的识别正确率和基于未降维的HOG-LBP特征方法正确率相近，但是本文方法在检测速度上提升较大，对比使用PCA-HOG特征训练分类器的方法，在准确率方面有提升，在应对群行人遮挡方面有更好的效果。同时,与文献[7]HOG的方法对比，本文使用的方法相对于该经典方法在准确率与运算速度方面均有较大的提升。

表1列出了各种方法在所选测试集上按照上文设定的统计规则得出的效果。

表1 4种不同方法的实验数据对比

由于在检测时加入了运动信息，减小了搜索窗口的搜索面积，给识别工作带来了一定的实时性改进，此外，对于特征识别模型进行了降维处理，减小了单位像素面积的识别速度。因为PCA-HOG的检测方法与本文的算法有一定的相似度，与其对比，由于在文献[10]中采用了50维的模型，所以本文方法运算速度与其对比不具有优势，但是相对其他没有加入视频运动信息的行人检测方法，本文方法则具有明显优势。如表2所示。

表2 4种方法的运算速度对比 ms

4 结 论

根据静止摄像头下的近景行人监控的环境特点，提出了一种基于混合高斯模型背景差分与联合特征相结合的行人检测方法，将改进的混合高斯背景方法与多特征的机器学习相结合的方法运用在行人检测中。通过与文献[7]和文献[8]的方法对比，得出本文方法在目标检测的准确率与目标识别的实时性方面，具有一定的优势。但是本文算法也存在该类算法通有的缺陷[18,19]，因为在背景差分法中是基于行人的移动来划定目标待检测窗口的，造成对静止的行人漏检的现象，要解决这一问题则可能采用的方法是在检测方法的第二段对检测出的目标实行跟踪[20]，以在行人停留在视频范围内时继续得出背景差分的目标区域。这将是下阶段的研究问题。

[1] Zhang S,Benenson R,Omran M,et al.How far are we from solving pedestrian detection[C]∥CVPR, 2016:1259-1267.

[2] 鞠升辉,李杨民.基于运动分析的运动目标实时跟踪系统[J].传感器与微系统,2016,35(7):58-61.

[3] 郭永彩,刘丽君,高 潮.基于图像传感器的仪表自动读数系统[J].传感器与微系统,2012,31(11):115-121.

[4] 赵 炯,朱海涛,屈剑平,等.基于OpenCV的圆心定位在地铁隧道变形检测中的应用[J].传感器与微系统,2013,32(11):139-145.

[5] 战萌伟,张 昊.基于Kinect传感器的人体行为分析算法[J].传感器与微系统,2015,34(1):142-144.

[6] 周 林,雷丽平.基于多传感器的人体行为识别系统[J].传感器与微系统,2016,35(3):89-95.

[7] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]∥IEEE Conference on Computer Vision & Pattern Recognition,2013:886-893.

[8] Wang X,Han T X,Yan S.An HOG-LBP human detector with partial occlusion handling[C]∥IEEE Intermational Conference on Computer Vision,IEEE,2010:32-39.

[9] 黄 茜,顾杰峰,杨文亮.基于梯度向量直方图的行人检测[J].科学技术与工程,2009,9(13):3646-3651.

[10] 汪成亮,周 佳,黄 晟.基于高斯混合模型与PCA-HOG的快速运动人体检测[J].计算机应用研究,2012,29(6):2156-2160.

[11] Jiang J,Xiong H.Fast pedestrian detection based on HOG-PCA and gentle adaBoost[C]∥International Conference on Computer Science & Service System,2012:1819-1822.

[12] Ojala T,Pietikäinen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,24(7):971-987.

[13] 赵子博.基于混合高斯改进算法的视频背景建模研究[D].南京：南京邮电大学.2013:23-25.

[14] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,Washington DC:IEEE Computer Society,1999:246-252.

[15] Parzen E.On estimation of a probability density function and mode[J].Annals of Mathematical Statistics,1962,33(3):1065-1076.

[16] Ojala T,Pietikainen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-988.

[17] 于成龙.基于PCA 的特征选择算法[J].计算机技术与发展,2011,21(4):123-125.

[18] Zhang X,Gao Y,Wang X,et al.A method for detecting pedes-trians in video surveillance scenes[C]∥International Conference on Systems and Informatics,IEEE,2012:2016-2019.

[19] 李 刚,邱尚斌,林 凌,等.基于背景差法和帧间差法的运动目标检测方法[J].仪器仪表学报,2006,27( 8):961-964.

[20] 张惊雷,姜松涛.基于改进压缩感知的运动目标跟踪[J].传感器与微系统,2016,35(6):120-123.

Pedestrian detection method based on Gaussian mixture model and combined feature

ZHENG Rui, SHAO Zong-kai

(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)

Aiming at shortcomings of pedestrian detecting methodes mostly use window slipping, and the method can’t quickly find suspected pedestrian windows in video environment,propose a method to detect pedestrian based on combination algorithms.Firstly sports foreground in video is extracted by Gaussian mixture model(GMM)method,delimit a suspected pedestrian windows.Then,use classifier based on hog-lbp combined feature training to classify generic target window,and get classification,label pedestrian target result.Through verification of experiment,the method get a good result on detecting speed and accuary compared with current pedestrian detection method.

pedestrian detection; Gaussian mixture model(GMM); HOG-lbp foreground

10.13873/J.1000—9787(2017)07—0150—04

2016—08—22

TP 319.4

A

1000—9787(2017)07—0150—04

郑 锐(1992-),男，硕士研究生，主要研究方向为机器视觉，机器学习研究。

邵宗凯(1973-),男，博士，副教授，主要从事智能交通系统的研究工作，E—mail：798181081@qq.com。