基于视频序列的列车驾驶员行为自动识别算法的研究

李 梅，龚 威，贾俊伟

(天津城建大学 a. 计算机与信息工程学院；b. 控制与机械工程学院，天津 300384)

随着铁路的大发展，安全驾驶成为保证铁路安全运输中重点关注的问题之一.因此，如何监督和确保列车驾驶员的良好工作状态也变得越来越重要.目前，驾驶员行为监督环节是通过监控人员盯多屏来实现，耗费大量人力.本文根据列车驾驶员驾驶时的特点和规律，分析其疲劳驾驶时的行为，针对列车运行时驾驶室内光照变化等因素的影响，采用有效的列车驾驶员行为检测和识别算法，研究并设计了一个具有远程智能监控功能的列车驾驶员行为识别和报警系统.

1 系统构成

系统将图像数据采集、运动目标检测、行为识别和违规自动报警等功能集成为一个一体化的平台，主要构成部分包括：前端采集、传输、存储、报警、显示和计算机处理系统.其中计算机处理系统是利用智能监控软件对图像数据进行处理，完成图像人体检测、跟踪和识别等工作，是整个智能监控系统的核心.系统结构如图1所示.

图1 系统结构图

2 运动目标检测

智能视频监控首先要进行运动目标检测，它是指从采集到的视频图像中提取出运动目标，其效果直接影响目标行为的识别和系统的有效性与实时性.

运动目标检测常用的方法有光流法、帧间差分法、背景减除法等.由于列车驾驶室处于高速运行状态，光照、阴影等环境因素变化快，对驾驶员姿态提取的难度增加，通过对不同的运动目标检测算法的分析对比，发现背景减除法中混合高斯背景模型[1]能够很好地适应背景变化，因此系统采用基于该模型的检测算法，并针对其不足，使用了一种改进的高斯背景模型的运动目标检测算法，通过与Otsu[2]自适应阈值的帧间差分法结合消除光线、阴影的干扰，实验验证该算法具有实时性和准确性特点.

2.1 混合高斯背景模型检测算法

2.1.1 背景模型的建立

式中：μk为均值，σk是第K个分量的标准差矩阵.

2.1.2 背景模型参数的自适应

在模型初始化之后，根据模型匹配情况不断地更新背景模型中的各个参数，来适应时刻发生变化的背景以获得最准确的背景模型.

首先，判断当前像素值是否满足背景模型的高斯分布

若满足式(3)，则认为该像素值匹配这个高斯分布，否则不匹配，继续与优先级低的高斯分布相匹配.

其次，判断当前点为前景点或背景点.若当前像素值与 K个高斯分布存在与之匹配的高斯成分，则判断该点为背景点，否则当前像素值为前景点.

最后，更新匹配的高斯分布的参数，其权值、均值和方差分别按照公式(4)，(5)以及公式(6)更新

其中，ρ为方差与均值的学习率， ρ=α/ ωi,t；α为权重的学习率.

2.2 采用Otsu自适应阈值的帧间差分法

由于帧间差分法是通过检测相邻两帧之间的变化来得到运动目标的区域(Ac)，但是相邻两帧之间的变化包括运动物体实际的轮廓和被运动目标遮挡随着运动目标离开而显现的背景区域(Aubg)，这两部分都被判断为运动目标，使得运动目标的区域大于实际运动目标的轮廓(Ao)，所以接下来要对显现的背景区域进行处理，去除这部分干扰，其中实际背景区域用(Abg)表示.

设 It-1(x y )和 It( x y)为视频序列中t-1时刻和t时刻相邻两帧图像中相同位置像素点的像素值，将这两帧图像进行差分处理，判定规则如下

其中，T是差分阈值，传统的差分阈值T是提前给定的，但是针对不同的环境要设定不同的差分阈值，所以本文针对这一点采用Otsu阈值分割方法，针对不同的环境自适应获取不同的阈值，并根据环境中光线变动提出添加值.阈值T的计算公式如下

其中，Tc采用Otsu阈值分割方法，附加值ΔT代表了光线对背景的影响，当光线对背景的影响较小时，附加值近乎为0.当光线对背景的影响较大时，附加值会明显增大，本算法更能适应光照突变的情况.

2.3 混合高斯背景模型与帧间差分法的综合应用

由于混合高斯模型在运动物体长时间停留融入背景时，达不到需要的检测结果，因此将混合高斯模型的背景建模和采用Otsu自适应阈值的帧间差分法相结合，通过帧间差分将视频序列的每一帧图像区分为前景区域和背景区域，再利用混合高斯模型不断地更新背景区域的高斯分布参数，形成新的背景模型，而前景区域不更新高斯分布参数.方法流程如图2所示.

图2 混合高斯背景模型结合帧间差分法流程图

由公式 ρ=α/ ωi,t可知，学习率ρ的大小由α决定，α越大则背景更替的速率就越快.α应根据实际图像变化而定，对于当前帧中突出的被运动物体覆盖的区域，则应赋予较大的值，一般取α＞0.8，这种处理方法能够实现，即使运动物体短暂融入背景，又突然离开，背景模型也会迅速更新，不会留下虚假的运动目标.

3 驾驶员行为识别

驾驶员行为识别是视频监控的核心任务.本系统利用星形骨架特征方法[4]提取人体特征，建立码表，并在行为识别中应用隐马尔科夫模型(HMM)[5].

3.1 HMM人体行为识别算法

HMM的基本理论形成于20世纪60年代末和70年代初，常用简写形式 λ= {A,B,π}表示.其中π为初始状态分布，A用来描述马尔科夫链，输出为状态序列，B用来描述随机过程，输出为观察符号序列.

HMM可分为训练和识别两部分，训练部分可以采用Baum-Welch算法来训练模型的λi，识别部分可以采用前向算法计算出最可能输出该序列的模板.

Baum-Welch估计算法能确定一个HMM模型参数λ={A,B,π}，使P( O|λi) 最大.算法描述如下.

重估公式

前向变量定义如下

前向算法描述如下

① 初始化：

② 递推：

③ 终止：

递推是整个算法的核心，使计算量大大减少.

3.2 算法验证

HMM 人体行为识别算法验证是在 KTH[6]和HollyWood[7]人体行为数据库中进行.针对KTH数据库取出“走动”(walk)和“弯腰”(bend)动作，Hollywood 取出“打电话”(Phone)、“坐下”(Sit down)和“挥手”(wave)动作，两个数据库共5组动作，选择10个人分别做5种动作并重复3次，选取的视频一般在20帧和80帧之间，如果视频的帧数太少，还不能够很好地提取出人体行为特征，如果视频帧数太大，会使接下来的学习越来越困难.最终实验结果中Phone的识别正确率相对较低，因为人打电话的手臂动作并不明显，特征匹配会出现偏差，另外4种识别正确率均超过96%，达到了预期目标.

4 系统测试

测试主要包括功能测试和性能测试.本测试在VC＋＋6.0平台上进行，通过软件界面来显示测试结果，通过暂停按钮来查看某一帧的识别情况，重新开始按钮继续查看识别结果(见图3-6).

图3 实验人员正常坐下

图4 实验人员伏案睡觉

图5 实验人员仰躺在椅子上睡觉

图6 实验人员随意走动

如图3所示，当目标人体在场景中呈现为一种坐姿时，视频输出结果无变化，即无异常行为发生.图4-6中场景人员分别为伏案、仰靠和走动，经判定这几种行为均为违规行为，因此，触发系统报警信号进行报警并作报警记录.

5 结 语

本文研究并设计了一个基于视频序列的列车驾驶员行为识别系统.通过对运动目标检测算法的研究，提出采用混合高斯模型与帧间差分法搭配使用的改进目标检测算法，既克服了光照影响也提取出人体完整轮廓，并采用自适应阈值分割方法，使目标检测在不同场景都有较好的效果；针对驾驶员违规行为识别，采用复杂度低且效果较好的星形骨架特征提取方法来描述人体的运动特征，最后采用隐马尔科夫模型实现了对连续的驾驶员行为进行快速识别.经过功能测试结果说明本系统能较好地完成列车驾驶员基本行为的识别功能，并对违规行为能做出及时报警和记录.

［1］苏 兵，李 刚，王洪元. 基于改进高斯混合模型的运动目标检测方法[J]. 计算机工程，2012(2)：210-212.

［2］OTSU N. A threshold selection method from gray-level histogram[J]. IEEE Transactions on Systems Man and Cybernetics，1979，9(1)：62-66.

［3］STAUFFER C，GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. Fort Collins：IEEE Computer Society Conference on Computer Vision and Pattern Recongnition，1999.

［4］FUJIYOSHI H，LIPTON A J. Real-time human motion analysis by Image Skeletonization[C]. Princeton，NJ：Fourth IEEE Workshop on Applications of Computer Vision，1998.

［5］黄 静，孔令富，李海涛. 基于傅里叶-隐马尔科夫模型的人体行为识别[J]. 计算机仿真，2011，28(7)：245-248.

［6］SCHULDT C，LAPTEV I，CAPUTO B. Recognizing human actions：a local SVM approach[J]. International Journal of Pattern Recognition，2004(3)：32-36.

［7］MARSZALEK M，LAPTEV I，SCHMID C. Actions in Context[C]. Miami，FL：IEEE Conference on Computer Vision Pattern Recognition，2009.