基于多信息融合的行人状态采集识别模型

韩 旭，蔡中民

（河南牧业经济学院 应用电子系，河南 郑州 450046）

基于多信息融合的行人状态采集识别模型

韩 旭，蔡中民

（河南牧业经济学院 应用电子系，河南 郑州 450046）

针对粒子滤波算法在采样阶段因证据不足，使得行人智能跟踪系统效率不高、鲁棒性不强的问题，融合颜色、纹理和空间等多证据信息和RGB颜色空间建立行人外观模型，采用优化的LBP纹理特征算法（LBP_AE算法）消除干扰、提取证据信息。实验结果表明，所设计的多证据信息融合模型，可以有效实现在复杂条件下的行人跟踪问题，相比传统算法有较高识别准确率。

粒子滤波；行人；采样；多证据；LBP_AE；空间信息

科技的发展给交通业带来了极大的挑战，只有掌握到站场内部客流波动的真实情况，才能从信息的角度出发保证对应策略的科学有效性和旅客出行的安全性，有效地竭制客流拥堵造成的事故。电脑视觉技术的行人识别方式在当前已变成该领域当中极重要的一个课题[1-2]，其中的一个重要保障性技术就是目标跟踪识别技术。在研究科学合理、全方位的行人技术平台工作中，目标跟踪识别技术是一项不可或缺的前提。不过，在实现精确跟踪时由于物体的实际形态和周遭环境的改变会导致一系列必须解决的难点问题出现[3]。

简单来说，及时预估行人的运动情况即为行人跟踪，判别行人目标是其整体工作过程，系统的识别效率在一定程度上受到了结果的限制[4]。在此，笔者从交通现场的实际工作需求出发，对可见光环境中的识别手法作了详尽的剖析。当前情况下，匹配和概率预估两个类型是罗列了全部有关的技术后得到的最典型的技术方法[5]。

第一种类型的行人跟踪方式有如下4种，即在特征[6]基础上的、在模板[7]基础上的、在模型[8-9]基础上的行人跟踪方式、在区域[10]基础上的行人跟踪方式，它们的布署工作相对简单，但对比较复杂的交通环境下出现的行人遮掩、动作变化等状况没有充分的鲁棒性。

正是因为它的持续变化，算法复杂程度就无法得到有效的管控。线性状态方程下的跟踪事项比较偏向于采用这种技术，从其自身角度来说，在当前复杂的交通环境中不能有效地发挥功用。

第二种类型中，卡尔曼[11-12]与粒子滤波[13]是最典型的两种跟踪方式，它有很多优点，比方说操作起来很轻松，还能展开并行处理。现阶段，行业内相关人员对此项技术展开了诸多研究并得到了很大进展[14-18]，不过此技术在算法上仍然存在很多问题，比如怎样在一些复杂的情况下捕捉到针对性强的跟踪特点与重要的证据。

采样、计算权值、输出冲采样等方面的工作是实现粒子滤波算法的具体步骤。行人智能跟踪系统在粒子滤波算法的采样阶段由于缺乏证据出现准确性低、鲁棒性特征不明显等难点是本文重点解决的事项。系统的实时性和具体特征在工作中的实际需要是该模型优先考量的事项，对应的模型创建工作是利用RGB颜色空间来实现的。接下来对LBP纹理特征的算法予以优化，并基于此来阐述经优化后的模型。引入像素的梯度资料，鉴定像素区域有否产生比较显著的波动，将计算阈值的方法予以改变，消除纹理区分受到的来自像素点亮度轻微波动的影响，把纹理证据特征恰如其分地体现出来等工作都是利用它来得以实现的；另一方面，空间信息也被笔者引用到该研究工作中来，具体做法是运用亮度信息依照人体特征将取得的行人矩形区域初始数据深入化解为3个对应的子区域，接下来在所有子区域里面捕捉相关的证据数据，在这种方法下把目标状态和其空间信息特征一一对应起来，最终提升该方法的鲁棒性。

1 多证据信息融合观测模型

正常来说，颜色和其纹理融合信息无法与其空间信息相对应，这项特征使得它不能准确地判断出被跟踪的对象。行人目标模型成为笔者最先说明的对象，基于此，再全面考量多证据信息予以体现，有机地把对象部分的纹理色彩和空间数据证据揉和在一起，使其描述得以提升，以期做出高效的判别。

建模是行人跟踪算法的首要工作，在此过程中不但要使它的具体需求得到满足，还要将充分的条件留给后续的数学处理工作，一般来说，为了预防求解工作中发生某些不必要的难度，并不需要精准的假设目标构造。

矩形和椭圆两类描述模型一般都会出现在二维图像中，基于当下流行的行人特征检测技术的考量，笔者在本文中的描述工作以矩形窗口来展开，详细说来，式（1）能有效地描述目标行人的状况

式中：u，v用以表示矩形的中心，中心距离两边的大小则由l，h来表示。一般情况下目标的运动是预测不到的，所以，笔者在此假定随机游走模型能被行人状态的变化所满足，在这种做法下来提升其通用性，此时，式（2）能有效地描述该模型的状态

式中：Wk-1是一种多变量的高斯噪声，各不同变量之间相互独立存在。

2 各证据信息子模型设计

2.1 颜色信息证据模型

颜色信息证据模型[19-20]在很多方面都有其自身的优点，比方说它具有很简单的结构，对目标的改变不敏感，在跟踪非规则性物体的工作中具有更好的实用性，可以得到极为理想的效果。把目标的颜色视为证据，只能实现首帖图像中的建立颜色模型，基于此实现对应的跟踪工作。

一般来说，颜色空间描述在一定程度上受到了来自各个不可预测的条件带来的干扰，实用性与辨识力是目标模型中心范围的像素颜色描述所必不可少的，基于此，各个区域范围中的像素值相应的权重值在此应该得到明确。简单而言，式（3）有效描述了行人候选区域

2.2 LBP_AE纹理信息证据模型

一般来说，目标纹理证据特征的鲁棒性、辨识能力、旋转和光照不变性都比较好，它的这些优点受到了行人目标识别等工作的大力追捧。此方法在具体操作时也有一些缺陷：比方说它会占去很多的时间来求解计算量。一些很显著的优点从局部二元模式（local binary pattern）中突显出来，这在计算机的操作中较为简单，且无须耗费太多时间便能实现。笔者对系统实时性的需求展开了详尽的剖析后采用改进LBP算法，在此基础上来优化行人目标描述过程中的弊端，经过优化的LBP_AE算法模型由此而生，如此一来，其描述的准确程度相对较好。

具体的优化措施：利用引入的像素点梯度信息来判定相对明显的变化有没有在该像素区内产生。同时改变阈值计算方式，运用消除纹理区分像素点亮度的轻微波动造成的干扰，呈现出真正的纹理证据特性。

式（4）～（5）能求解Sobel法得到的图像梯度数据

式中：θ(x,y)代表了梯度方向；gx和gy分别代表了图像水平和垂直方向的梯度变化。其纹理的变化情况由图像的梯度来表示，式（6）能对此展开求解

式中：N代表感兴趣区域像素点数；gj的比例值由δr(gj)来表示，gj的像素点数由代表梯度的ngj来表示，在此笔者的主要工作是利用求解δ来判定图像波动是否处在一种平滑状态。

式（7）能有效描述经过优化后的LBP_AE

本文中笔者描述的方法是纹理直方图，简单而言，式（8）可有效描述纹理直方图属于行人候选区域

行人候选区域像素点数在公式中由N和M所表示，狄拉克函数由k∈{1，2，3，…，P+2}来表示。

2.3 空间证据模型

由于笔者在描述目标区域工作中采用的是矩形区域，所以，如果遇到比较复杂的情况就会经常出现目标被遮拦的不利的现象，这样一来，跟踪目标在一定程度上增大了难度。虽然前文提到过行人特征在有机融合颜色和纹理信息后能得到有效的描述，可却未涉及其空间信息，上述提到的一些确实存在的情况并没有得到很好的处理。

在人体特性的基础上，笔者更进一步地把行人区域划分成3个子区域，捕捉其有关信息的工作在所有区域中都进行，跟踪信息和其空间。双方在此方法的作用下彼此互相一一对应起来，如此一来，求解的鲁棒性在很大程度上得以增加。

涵盖了人的头部、上身、腿部等3个部分在纹理和颜色等方面互相之间有明显的不同，将目标细分成3个子区域，换言之，用两条水平分割线将上述3个部分分别视为一个区域，具体做法是：

1）区分出既测目标行人区域，捕捉各子区域中置信度偏大的像素点。

2）寻找水平分割线的工作是在捕捉到的像素点的灰度值的基础上完成的，假定两个持续子区域分别由Ta和Tb来表示，而且，Ta在Tb之上，式（9）能求解它们的水平分割线位置

目标跟踪在所有子区域被笔者划分完后的比例一直都表现得很平稳，信息证据模型在所有子区域空间里得以创建完成，并完成纹理、颜色和空间信息互相对应的工作，以此来提升它的鲁棒性。

2.4 基于空间划分的颜色纹理证据特征相似度融合信息描述

在前文所说的划分区域和创建模型的工作得到实现后，再在对比分析相似度的基础上来对跟踪目标所在的场合予以分析，最终得到有效的跟踪效果。

在计量相似度工作中用得最多、最好的技术手法是Bhat⁃tacharyya相似系数法，各类证据特征直方图的相似度都可以通过它来实现，它的操作极为简单方便，颜色纹理直方图是笔者在研究工作中采用的计量方式，此算法应该得到优化，式（12）能对此进行有效求解

式（13）体现了联合颜色纹理似然函数对x的权值求解过程

3 实验结果及分析

3.1 本文模型与经典模型的跟踪效果比较及分析

笔者提到的多证据融合模型需要大量粒子的使用，基于此，粒子滤波计算方式在一定程度上对它的及时性带来了或大或小的影响。笔者在粒子滤波计算方式的权值计算和输出的两项工作中优化了文献[21]所示的方式，其运算效率在其改进优化以后得以大量提升，另外，粒子的大小和数量等因素也不再对其产生束缚作用。

在相同的拍摄现场和实验平台下做实验，其中原始视频如图1所示，单纯地把色彩视为该模型（这里简称STM）[22]的试验结果，如图2所示，联合色彩和纹理的双证据跟踪判别模型（简称STTM）[23-24]的试验结果如图3所示，笔者创建的多证据融合下跟踪判别模型（SKTTM）的试验结果如图4所示，各组图予以比照剖析。值得一提的是，笔者使用自行在某地铁站通道内拍摄的录像用于测试。试验工作中涉及到的平台为：Intel 3.0 GHz 4 Gbyte内存、Windows7，Visual C++6.0，粒子像素是37×46，数量高达400。

图1 视频原始帧

在视频中可以看到，由于此目标刚开始出现在视频中时没有其他不利因素的干扰，可以有效跟踪试验的3个模型，具体的状态连续识别情况如图1a所示。图1b中受目标衣着和周围商业广告标牌色彩相近的影响，STM的矩形跟踪区域和实践操作状况下有着较大的差距。不过，相对较好的连续判别能力在后两种方案中得以体现出来。图1c中出现的情况可以通过SKTTM法来实现。

图2 使用STM的目标行人运动状态识别结果示意图

图3 使用STTM的目标行人运动状态识别结果示意图

图4显示，跟踪线索会随着行人跟踪时附近环境的变化受到干扰而在一定程度上发生变化。空间信息对应的纹理、颜色证据信息可以在较小的区域中进行融合，如此一来，某些因环境条件变化而带来的负面影响能得以消除，与其他的两种模型方案相比，它体现出来的鲁棒性具有更强的优越性，可以实现在跟踪识别过程中实现高效的持续状况估计。

图4 使用SKTTM的目标行人运动状态识别结果示意图

3.2 LBP_AE纹理信息证据模型实验效果分析

基于LBP纹理特征算法的某些缺陷，笔者在本文中对其进行优化，使有效描述纹理特征成为现实，下面对此优化方法的有效性予以验证。算法1所示的LBP纹理特征[25]、算法2所示的GSR-LBP纹理特征[26]和笔者自行设计改进的LBP_AE纹理特征的算法都在上述视频中有所体现，行人运动状态估计实验是利用前文所说的SKTTM模型来展开的。

比较参数用跟踪的准确率表示，式（14）可对其展开求解

正确和错误跟踪目标的图像帧数中分别用TP和FN来表示。前文所述的3个纹理特征证据捕捉方式得到的试验结果通过图5来体现。

图5 3种算法的跟踪准确率

前文所述的3种算法在图5中得到了很好的展现，优化后提升其跟踪效果的准确率为94.8%，GSR-LBP以92.3%的准确率位列第二，LBP以88.6%的准确率位列第三，经过一系列的分析得出结论：相对于业内其他两种典型的算法来说，LBP_AE能在很大程度上使其跟踪的准确率得以提升，另外，更好的操作性在持续对行人运动状态进行识别时也被很好地体现出来。

3.3 识别模型的消耗时间分析

接下来笔者结合本文设计的模型和普通直方图与积分直方图，对其所消耗时间展开比较，使笔者设计的模型的实用范畴和实用价值得到实践的验证，这里仍按前文提到的、笔者自行拍摄的视频引用到试验中，通过下列两种情况来进行试验：

1）在粒子的大小不一样却在数量上保持一致的状况下耗用的时间见表1。

表1 不同粒子大小消耗时间比较 s

表1显示：笔者自创的模型运行于普通直方图中的时间受到了粒子像素数的干扰，但在积分直方图中的表现却不相同，完全与之无关。

2）在粒子的大小保持平稳而变化其数量的状况下，其所耗用的时间见表2。

表2 不同粒子数消耗时间比较s

表2显示：粒子数在较大程度上影响了笔者自行设计的模型在普通直方图算法中所运行的时间，它的运算时间会伴着粒子数的增大而产生明显的增长，然而，积分直方图算法中它却基本没有受到干扰。

上文2个实验结果显示：粒子可能出现的区域与粒子的大小和数量多少成正比，在积分直方图算法计算中，笔者自行设计的模型突显出了极为显著的优越性。

4 总结

总而言之，笔者在粒子滤波跟踪计算方式的基础上，对相对繁杂的站内交通状况下的行人跟踪事项展开了深入细致的探讨。笔者将行人特有的非刚体的特性和环境带来的不良影响纳入考量范围，基于其采样步骤，对融合色彩、纹理、空间数据证据的行人连续状态识别模型作了详细的阐述，实现了有效跟踪复杂环境下的行人。相对于单线索或简单多证据线索融合的粒子滤波行人跟踪采样算法来说，其效果在实践工作中更便于推广和应用。另外，相对偏低的运算效率是因为多证据信息融合所需大量的粒子而产生，笔者在粒子滤波计算方式的权值计算和输出两项工作中改进了文献[21]所提到的方法，其运算效率在实验论证下已经得到了极大的提升。在粒子大小与数量等方面，笔者设计的多证据信息融合的粒子滤波采样模型并没有被约束，在准确、快速地跟踪目标行人的有关问题上能从本文中得到一条良好的化解思路。

[1]曹艺华，杨华，李传志.基于时空LBP加权社会力模型的人群异常检测[J].电视技术，2012，36（21）：145-148.

[2]付洋，宋焕生，陈艳，等.一种基于视频的道路行人检测方法[J].电视技术，2012，36（13）：140-144.

[3] ENZWEILER M，GAVRILA D M.Monocular pedestrian detec⁃tion：survey and experiments[J]．Journal of IEEE Trans.Pat⁃tern Analysis and Machine Intelligence，2009，31（12）：2179-2195.

[4] 王永忠，梁彦，潘泉，等.基于自适应混合高斯模型的时空背景建模[J].自动化学报，2009，35（4）：371–378.

[5] 张娟，毛晓波，陈铁军.运动目标跟踪算法研究综述[J].计算机应用研究，2009（12）：4407-4409.

[6] 高陈强，余迪虎，李强，等.视频图像中基于特征匹配的人流量统计[J].电视技术，2011，35（15）：20-23.

[7] 解易，裴明涛，于冠群.增量学习灰度与轮廓模板的行人跟踪方法[J].北京理工大学学报，2012，32（3）：274-280.

[8] SHERRAH J，RISTIC B，REDDING N J.Particle filter to track multiple people for visual surveillance[J].IET Computer Vision，2011，5（4）：192-200.

[9] 江帆，王贵锦，刘畅.一种基于模型融合的行人跟踪算法[J].电视技术，2010，34（3）：85-87.

[10] 明安龙，马华东.多摄像机之间基于区域SIFT描述子的目标匹配[J].计算机学报，2008，31（4）：650-661.

[11] 李熙莹，卢林，陈玲.汽车客运站出入口监控系统中行人检测与跟踪方法[J].计算机与现代化，2013（8）：15-18.

[12] STEPANOV O A.Kalman filtering：past and present，an outlook from Russia[J]．Gyroscopy and Navigation，2011，2（2）：99-110.

[13] 张洪建.基于有限集统计学的多目标跟踪算法研究[D].上海：上海交通大学，2009.

[14] SHERRAH J.，RISTIC B，REDDING N J．Particle filter to track multiple people for visual surveillance[J]．Gyroscopy and Navigation，2011，5（4）：99-200.

[15] XU KUN，GUO Lanying．An anti-occlusion object tracking al⁃gorithm based on mean shift and particle filter[J]．ICIC Ex⁃press Letters，Part B：Applications，2011，2（1）：95-100.

[16]梁琛华，常青.基于HOG随机森林分类器的人体识别[J].电视技术，2013，37（15）：185-188.

[17]AGUSTIENS I，RAHMAT W M，BASARUDDIN T.Particle filter with Gaussian weighting for human tracking[J]．Telkomnika，2012，10（6）：1453-1457.

[18]BALCELLS C M，DAVID D，DANIEL D.An appearance based approach for human and object tracking[C]//Proc.the IEEE In⁃ternational Conference on Image Processing.[S.l.]：IEEE Press，2003：85-88.

[19]李培华.一种新颖的基于颜色信息的粒子滤波器跟踪算法[J].计算机学报，2009，32（12）：2454-2463.

[20] 徐小龙，谷宇章，王营冠，等.基于颜色特征的人流量实时检测方法[J].现代电子技术，2014，37（7）：92-97.

[21] ZHANG Yang，LIU Weiming.Diverse gentle adaboostwith cost-sensitiveSVM ensemble classifiers algorithm forreal-time pedestrian tracking based on machinevision[J].International Journal of Digital Content Technology and Its Applications，2014，8（1A）：222-225.

[22]王怡蕾，丁辉，尚媛园.颜色与纹理相融合的自适应粒子滤波跟踪算法[J].光学技术，2014，40（1）：27-31.

[23]KUMAR K B，SATPUTE N R，ADIGA A．Tabu search based implementation of object tracking using joint color texture histo⁃gram[C]//Proc.IEEE 7th International Conference on Industri⁃al and Information Systems．Chennai，India：[s.n.]，2012：829-835.

[24] LIU Li，ZHAO Lingjun，LONG Yunli，et al.Extended local bi⁃nary patterns for texture classification[J].Image and Vision Computing，2012，30（2）：86-99.

[25]OJALA T，VALKEALAHTI K，OJA E，et al.Texture discrimi⁃nation with multi-dimensional distributions of signed gray-lev⁃el differences[J]．Pattern Recognition，2001，34（3）：727-739.

[26] OJALA T，PIETIKÄINEN M，MÄENPÄÄ T.Multiresolution gray-scale and rotation invariant textureclassification with local binary patterns[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2006，24（7）：971-987.

责任编辑：闫雯雯

Recognition Model of Pedestrian State Acquisition Based on Multi Information Fusion

HAN Xu,CAI Zhongmin
（Henan University of Animal Husbandry&Economy,Zhengzhou 450046,China）

When the particle filter algorithm is applied to the pedestrian motion state estimation,insufficient evidence in the sampling phase leads to pedestrian intelligent tracking system is not efficient,robust feature is not significant, and so on.In order to solve the above problems,the paper fusion the multi-evidence information of color,texture and space to jointly build pedestrian appearance mode,utilizes the optimized LBP texture features algorithm(LBP_AE algorithm)to distinguish interference and extract evidence information.After experimental verification,the designed multi-evidence information fusion modelcan effectively solve the problem ofpedestrian tracking in complex conditions under the conjunction with the integral histogram algorithm,at the same time,the LBP_AE algorithms involved in it has more recognition accuracy rate than the general traditional LBP algorithm.

particle filter;pedestrian;sampling;multi-evidence;LBP_AE;space information

TP391

A

10.16280/j.videoe.2015.08.016

2014-09-21

【本文献信息】韩旭，蔡中民.基于多信息融合的行人状态采集识别模型[J].电视技术，2015，39（8）.

河南省教育厅项目（14B520015）