基于视频能量的系统运动状态研究

◎李佳兵 张天奇 赵燕民 仲 锐

（中国矿业大学徐海学院 江苏 徐州 221000）

非刚体是受力会发生形变的物体，以跳水视频为例对非刚体建立模型，就需要在模型中考虑人体的质量、大小和形态。结合跳水运动的特点，形态是考虑的首要因素。本文基于粒子滤波算法建立模型，对跳水运动中人体的形态特征进行分析。

一、跳水动作识别模型

（一）Rob hess 粒子滤波跟踪算法原理

粒子滤波算法是以贝叶斯推理和重采样原理为基础的目标跟踪算法[1]。基本原理为：人工指定跟踪目标后，提取目标的特征。在目标区域撒出一系列随机抽取的采样点（即等权重的粒子），计算采样点与目标区域的相似度，之后进行归一化，将第i个采样点的权重更新为这个相似度，按更新的权重再次采样。去除低权值的粒子,复制高权重的粒子，以更新的采样点进行下一轮滤波。迭代次数满足要求后，可以认为权重最大的粒子位于目标物体所在处。

（二）运动特征与能量变化描述

本文拟采用跳水运动员当前的身体姿态描述其运动状态，当前的势能描述其能量变化。

势能：

对视频进行图像序列转化，将其分为109帧，每帧划分为320×240的像素点。同时降低图片像素、进行中值滤波，减少孤立噪声点对视频处理的干扰。之后将运动员的颈部标记为目标区域，采用 Rob hess粒子滤波算法处理每一帧图像，得到运动员颈部的运动轨迹。下面根据运动轨迹确定其势能。采用 Rob hess 粒子滤波算法求得视频中每一帧运动员的颈部位置，绘出运动轨迹见图1。

图1 运动员颈部运动轨迹

观察颈部运动轨迹，可以发现轨迹在竖直方向上位移明显，在水平方向上只有微小位移。结合拍摄过程进行分析，拍摄视频时，为了完整拍摄到运动员的身体姿态，通常会通过摄像机的运动保证运动员跳水运动始终处于图像中央，因此水平方向位移较小，与实际情况符合，说明视频处理方法选取正确。

以水面为势能零点，则运动员势能EC为

身体姿态：

对视频中运动员的跳水动作进行定性分析，可分为三个阶段，划分结果及每阶段势能变化如下：1.起跳：运动员首先进行向下的蓄力过程，使跳板发生形变；之后从蓄力最低点发力，离开跳板，直至腾空;起跳过程中，势能在蓄力最低点处形成突变。2.翻腾两周半：运动员以头为轴，抱住肢体在空中做圆周运动，且圆心高度呈螺旋状变化。根据转体周数，可近似认为转体运动轨迹存在三个突变点。三个突变点将整个转体运动分解为四次半周旋转过程。若假设运动的转体函数是连续可导的，则该函数具有三个一阶极点。3.入水：身体从抱膝完全伸展至倒立状态，在此过程中运动员的头结点从抱膝完全伸展至倒立状态，可以近似理解为自由落体运动。因此我们认为入水运动不存在任何转折点。若假设运动的入水函数是连续可导的，则该函数没有极点。图2表现了运动员三个阶段的动作。

绘图表示视频能量与帧数的关系，并根据势能的变化分析，得到了跳水过程三个阶段对应的帧，见图3。

（三）模型应用：判断运动员瞬时姿态

图3 跳水过程视频能量与帧数关

图3 中视频能量与帧数的关系曲线较为平滑，且存在极点，因此考虑二者间存在函数关系。根据跳水过程的阶段划分，可分阶段进行函数拟合，得到每阶段视频能量与帧数的函数关系式。从而实现根据任何运动员做该动作时的一段能量变化过程，可知其当前的身体姿态。

（四）函数拟合结果

函数公式如下，起跳过程拟合曲线图见图4，其余拟合曲线见附录。

起跳：

翻滚：

f(x)=1010(0.8029-1.117cos(0.007872x)-0.6387si n(0.007872x)+0.3285cos(0.015744x)+0.5578sin(0.015 744x)+0.3285cos(0.015744x)+0.5578sin（0.015744x)-0.00243cos(0.0023616x)-0.1868sin(0.023616x)-0.01148cos(0.31488x)-0.02071sin(0.031488x)),x[40,92]

图4 起跳函数与帧数关系

入水：

图2 运动员三个阶段的动作

函数拟合均R2大于0.95，效果良好。已知任何运动员做该动作时的一段能量变化并进行拟合，将结果与三个阶段起跳能量——帧数对比,从而实现根据任何运动员做该动作时的一段能量变化过程，求得其当前的身体姿态。

（五）模型的应用领域

本节建立了跳水运动模型，合理描述了跳水过程中运动员的运动特征及视频能量变化，可在以下场景进行运用：

（1）体育训练中运动员身体姿态的监测。

（2）体育赛事中的辅助评判系统。

二、基于HS光流法的群体对象运动模型

群体，如人群，可视为非刚体,运动物体不再是只有质量没有大小的点，而是加入了对大小、形态和形变的考虑。我们以俯视视频为例建立模型，并考虑群体的异常。因此群体模型中非刚体运动时的形变体现不明显，可主要考虑人体的大小。

群体运动的异常，可以理解为自由行走的人群突然四散逃离。因此对于群体对象运动模型首先选取运动学基本物理量速度、加速度、位置。之后定义群体模型异常度能量，使用速度矢量交点密集度描述人群的散乱程度，即异常程度。视频中每一个人的速度，采用HS光流法[2]跟踪视频进行求解。最后选取静止摄像机拍摄的大厅中模拟混乱事件的视频作为实验素材，检测视频场景的异常度。

（一）运动特征与能量变化的描述

常度能量用来描述群体对象的运动特征与能量变化，首先对视频按帧提取出图像序列，每帧划分为320×240的像素点。之后使用光流法提取每一帧中的像素特征点并求解特征点的光流矢量，即求解每一个像素点运动的速度。

首先引入速度矢量交点个数P：同一帧中，可以用直线方程表示像素特征点的光流矢量，即速度矢量。设同一个像素特征点在当前帧、上下相邻两帧的位置投影到同一个平面分别为A2、A1和A3，如图 5所示。其中 A1 的坐标为(a1，b1)，A2的坐标为(a2，b2)，A3的坐标为(a3,b3)，粒子在A1、A2的速度分别为（1，v1）（2，v2）相邻三帧的时间间隔很小，因此认为 A1，A2，A3三点共线，向量即像素点 A2 的光流矢量。可写出像素点在 A2 时的速度矢量对应的直线方程:

将每一个光流失量都用与其对应的直线方程表示后, 通过解二元一次方程可求得直线两两相交后的交点，落在图像范围内的交点个数即为 P 。

图5 像素点连续三帧影

设第 i帧图像中速度交点个数为iP，交点区域所占图像上面积为 iS，根据散点密集度的物理意义，定义模型异常度能量

（二）异常度求解结果

以静止摄像机拍摄的大厅中模拟混乱事件的视频为例，使用 定义的群体对象异常度能量，检测视频中人群是否发生异常行为。求解所选视频每一帧图像的异常度，用Matlab求解结果，绘制异常度——帧数图像如图6左所示。

根据求解结果第487帧图像的异常度远远大于其他图像，出现了数量级上的差异。检查原始视频，第487帧出现了明显的“Abnormal Crowd Activity”标记，标记出现的瞬间会产生大量交叉运动矢量，导致该帧异常度出现极端增大。删去第487帧图像，再次求解，绘制异常度——帧数图像如图6右，不再包含离群值，得到了有分析价值的各帧间的异常度差异信息。

图6 异常度-帧数图像

（三）判断群体对象是否存在异常

根据异常度——帧数图，可以粗略地将异常度突然变大的部分判断为群体对象出现异常。但初步判断结果主观性大，还可能受光流法固有缺陷的影响而出现偏差，比如将“Abnormal Crowd Activity”标记判定为异常等。本节设计更为精确的算法，基于求解结果判断群体运动是否存在异常。

视频中物体的突然出现往往引起光流矢量出现大量交叉点，异常度增大；之后，物体继续存在于图像中时，光流矢量的交点恢复正常，异常度特征表现为骤增骤减。考虑对异常值积分，将积分值作为异常行为判断标准，去除光流法的自身缺陷。

算法步骤由 step1-3给出：

step1：计算视频中异常度能量的均值

step2：对每一个可疑帧，以5帧为单位向后搜索，若5帧中不含其余可疑帧，终止搜索；若含有其他可疑帧，继续向后搜索5帧。以此类推，直到搜索的5帧中不含可疑帧。

Step3：计算起始帧与搜索到的最后一个可疑帧的间隔，若大于30帧（含首尾两帧），认为搜索区间内的帧中人群出现异常行为。若不大于 30 帧，认为区间内的高异常度属于光流法的误判。

由于视频的场景不同，“异常情况”的定义和检测视频是否异常的目的不同，step2每一次向后搜索的帧数和 step3判断是否有异常的临界帧数不是固定值，可以参考经验值自行设置。

本文认为异常行为至少持续1秒，因此设置 step2中向后搜索5帧，step3中临界帧数为30帧，求解得到视频的平均异常度能量为 3517.42，存在一段异常帧，为461-572帧，与视频中发生人群逃离的帧数基本一致,证明了模型及算法的合理性。

（四）模型的应用领域

本文建立了群体对象运动模型，合理描述了群体对象的运动学特征和行为异常度的衡量方法，可在以下场景进行运用：

（1）用于学校、广场等人流密集场所的视频监控，通过监控人群运动方向，判断是否存在发生踩踏事件的倾向。

（2）利用光流法对进入视频内的物体敏感的特点，用于僻静街道、单元楼楼道等人流稀疏场所的监控，判断是否有突发事件发生。

三、结语

本文采用了光流法和粒子跟踪算法对视频进行处理，根据动能、势能等物理能量的定义创新地定义视频能量的概念，利用视频能量对视频的突发状况进行识别，综合运用了大量数据，将模型误差控制在一个不大的范围，得出了极其精确的结果。通过对运动对象的位置、形态和速度的变化的确定，判断对象所处的状态或者面临的情况，推断随后的结果，为人们带来非常有价值的应用。