人体运动分析及其在三维互动娱乐中的应用

杨宁学 李艳萍

（西南交通大学软件学院，四川成都，610031）

0 引言

人体运动分析指的是在不需要人为干预的情况下，综合利用计算机视觉、模式识别、图像处理、人工智能等诸多方面的知识和技术，运用某种手段跟踪、捕捉人体的运动，获得人体的运动参数并从运动中重建人体的结构和姿态。人体运动分析的最终目的是达到对人体运动的理解并加以应用。人体运动分析主要应用在智能监控、虚拟现实、感知接口、运动分析以及基于模型的视频编码等领域。人体运动分析的首要任务和基本问题是获取人体的运动参数，而运动参数的获取有多种方法。如采用专用的机械装置或电子装置等。就广义而言，人体运动分析的研究对象既可以是以人脸、唇、手势等为代表的较小尺度的局部人体运动；也可以是手臂、腿部或全身等大尺度的全身或肢体运动。

随着社会、经济和技术的高速发展，人类社会在经历了早期的农业经济、工业经济时代之后，正以惊人的速度从“服务经济”向“体验经济”演进。人们对娱乐的需求，特别是对数字化娱乐内容的需求，极大地推动数字娱乐产业的迅速崛起。游戏作为数字娱乐的一种主要形式正在以惊人的速度向前发展，其形式也正在从“参与型”向“体验型”转换，玩家通过鼠标键盘进行交互的方式，其娱乐性会受到极大的限制，而本文提及的人体运动分析则可以将人体的动作、表情等信息通过获取、处理和分析之后将其转换为电脑可以理解的信号传入游戏场景，并作为游戏场景中的一部分内容参与控制玩家角色，从而极大的增强游戏的娱乐性和沉浸感。基于互联网络的交互式空间的开发刚刚起步，如虚拟聊天室，它在通过文本交流的同时可以通过二维图标来导航用户，如果增加手势、头的姿势、面部表情等线索，将会给参与者们提供更加丰富的交互形式；另外，人的运动分析在视频会议、人物动画、虚拟工作室等其它虚拟现实场合也有着相当广泛的应用。

本文利用视频信息来对人体局部运动进行获取、处理和分析，通过在单一视频中，跟踪人体的运动，提取人体的运动参数，并加上时间参数使之形成运动曲线，从而控制三维场景中特定物体的运动，实现互动娱乐的效果，增强娱乐性和交互性。

1 运动分割

运动分割的目的是从视频图像序列中将变化的区域从背景图像中提取出来。通常情况下，背景是静止的，但是由于背景图像的动态变化，如天气、光照、阴影以及其他噪声等的影响，使得运动分割成为一项相当困难的工作。

运动分割可以分为运动背景和静止背景下运动目标的检测和提取。运动背景通常指摄像机随着运动物体运动从而使得图像背景也产生相应的运动；静止背景通常指摄像机固定不动，视频图像中除了运动的物体在视频图像中存在位移之外，其余部分相对静止。本文将研究静止背景下的运动目标检测和提取。静止背景下运动物体的检测主要有背景差法、帧差法和光流法。

背景差法是目前静止背景下运动分割中最常用的一种方法，它是利用当前图像与背景图像的逐象素的灰度差通过设置阈值来检测出运动区域的一种技术。采用背景差法来检测前景时，需要解决的首要问题是获取背景图像。一方面可以人为给定若干背景图像，然后通过求平均值来获取背景图像，或者通过图像训练集的中值图像或者混合高斯模型等方法来获取背景图像。这类方法的优点在于对复杂背景的情况效果较好，它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。

背景差法可以用如下的算法流程进行描述:

1、背景估计值B(0)（通常取图像第1 帧）

3、对于以后的每一帧F，减去B(n+1),即可获得运动物体的区域。

在实验中，本文采用了预先拍摄一段无人的视频，接着人再进入做运动（如图1 所示），这样在无人区域时间段内，采用大的加权值，然后在人体进入后采用小的加权值，这样背景的估计就较为准确了。

图1 背景差实验

这类方法的优点在于对复杂背景的情况效果较好，它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。

帧差法是在连续的图像序列中，在相邻两帧间计算逐象素的灰度差，并通过设置阈值来确定对应运动前景的象素，进而得到运动前景区域。Lipton 等利用双帧差进行运动目标检测，进而用于目标的分类与跟踪。

理想情况下，如果相减后差值为零。则认为该点属于静止背景，反之则属于运动物体区域。在实际情况中由于存在噪声等多种外来因素的干扰，只根据差值是否为零还不能确定该点的变化情况，可以通过设置阈值来分离运动目标和背景。

这种方法的突出特点是实现简单、运算速度快。而且由于相邻帧间环境亮度变化很小，帧间差分法受光照变化影响较小。

一个改进的方法是利用三帧差分代替两帧差分，如VSAM 开发了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。

帧差法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象，特别是对运动速度过慢的物体，不利于进一步的对象分析和识别。

基于光流方法的运动检测采用了运动目标随时间变化的光流特性。光流法除了可以检测静止背景下的运动目标之外，还可以检测运动背景下的运动目标。

由于光流表达了图像的变化，包含了目标一定的运动信息，因此通过计算光流场可以从图像中近似计算不能直接得到的运动场。1981年，Horn 和Schunck 创造性地将二维速度场与灰度相联系，引入光流约束方程，得到光流的基本算法。目前，比较流行的光流计算方法有基于匹配的方法、基于梯度的方法、基于相位的方法、基于能量的方法和神经动力学方法。其中最常用的是基于梯度的方法——Lucas-Kanade 方法。

通过给定特征点的初始位置和两幅连续的图像帧，利用上述等式就可以用来解决该特征点的大致位移。

光流法计算复杂，实用性较差，对背景噪声非常敏感。

本文通过实验将背景差法、改进帧差法和光流法进行了比较，结果如图2 所示。由比较结果可知，背景差发和改进帧差法提取结果比较理想，光流法提取结果较差。

图2 几种方法比较

2 运动特征提取

通过上述介绍的运动分割方法将运动人体从背景中提取出来之后，由于提取的运动人体具有一定的体积，不便于描述人体的运动，因此可以将运动人体抽象成一个没有体积的点，用这点来描述人体的运动，即所谓的特征点。特征点的选取方式有多种，如质心、最高点、最低点、最小包围盒的中心等等，本文选取包围盒上边的中点（如图3 所示）作为头部运动的特征点来描述人体头部运动。在单一视频中，运动可以分解为x 方向的运动和y 方向的运动，将此两方向的运动分别绘制在时间轴上，便形成了特征点在两个方向上的运动轨迹，如图4 所示。

图4 特征点在随时间发生的位移变化

3 三维互动娱乐场景

将人体运动特征提取出来之后，就可以用来控制三维互动娱乐场景中的相应对象，使之产生与研究目标一致的运动，从而达到互动娱乐的效果。由于人体运动分析和三维互动娱乐场景属于两个相对独立的内容，按照面向对象程序设计思想，即高内聚，松耦合的设计原则，本文在人体运动分析和三维互动娱乐场景之间加入了一个数据池，如图5 所示。两者通过共享数据池中的数据来实现数据共享。

图5 互动娱乐系统结构图

图6 场景节点及场景元素结构示意图

为了构建一个通用的三维互动娱乐场景以适应更广泛的互动娱乐场景开发，将现实世界中的场景划分成抽象的不同空间，不同空间中还可以划分成不同的小空间，每个空间由一个场景节点(SceneNode)对象来管理，如图6所示为场景节点关系示意图，场景节点的具体组织结构关系视各个场景具体情况而定。场景节点将负责处理移动、旋转和缩放等与空间相关的行为。在每个场景节点上可以挂接各种场景元素（如Entity、Light、Camera 等），场景元素本身并不负责与空间位置相关的行为，这些与空间位置相关的行为全部交给场景节点来处理。大量的场景节点按照空间的划分层次组织成树状结构，从而完成对整个场景的有序组织。本文为了通过在室内构建球、球板这样一个简单的互动场景来说明互动娱乐的整个过程，其空间组织结构如图7 所示。

图7 互动娱乐场景中场景元素组织结构

图8 三维互动娱乐场景

互动娱乐场景通过轮询的方式检查是否有新的数据产生，当产生新的数据，该新数据便可用于控制场景节点RacketNode，使之与人体运动轨迹保持一致；球节点BallNode 的运动方式为自由落体运动，初速度设为0，球在重力作用下往下掉，当与球板接触时，两者发生碰撞，根据物体碰撞过程中的能量守恒定律(设为刚性碰撞），可求得球碰撞后的速度，如此往复产生互动娱乐效果。软件运行结果如图8 所示。

4 结束语

本文通过研究单一视频的人体运动分析，并将取得的运动特征数据用于控制三维互动娱乐场景中的目标元素使之产生相似的运动，由于单一视频获取的是平面运动，因此其运动数据只能使三维场景中的目标元素产生平面运动，如果要使其能控制目标元素产生三维空间运动，则需要获取人体运动的空间特征数据，可以通过双视频的方式解决。

[1]王亮,胡卫明,谭铁牛.人运动的视觉分析综述[J].计算机学报,2002,25 (3) :2252237.

[2] Collins R,Lipton A and Kanade T.Introduction to the special section on video surveillance[J].IEEE Trans Pattern Analysis and Machine Intelligence,2000,22 (8):745-746.

[3]10 Maybank S and Tan T.Introduction——special section on visual surveillance[J].International Journal of Computer Vision,2000,37 (2):173-173.

[4]Turk M.Visual interaction with lifelike characters[C].In:Proc IEEE International Conference on Automatic Face and Gesture Recognition,Killington,Vermont USA,1996,368-373.

[5]郑江滨,赵荣椿.慢运动背景下运动目标提取算法[J].计算机应用研究.第25 卷第7 期 2008.2185～2186,2218

[6]栾庆磊,陈正伟,何勇.一种运动背景下移动目标的检测方法[J].计算机与数字工程.总第228 期 2008年第10期.165～169

[7]侯一民,郭雷,伦向敏.运动背景下基于粒子滤波的目标跟踪[J].计算机工程与应用.2007,43(8).62～64,102.

[8]徐秋平,郭敏.静止背景下基于图割的运动目标检测算法[J].计算机工程与应用.2008，44(32).186～188,219

[9]I.Haritaoglu,D.Harwood and L.Davis.W4:Real-T i m e S u r v e i l l a n c e o f P e o p l e a n d T h e i r Activities[J],PAMI,vol.22,no.8,2000.

[10]Lipton A,Fujiyoshi H and Patil R.Moving target classification and tracking from real-time video[J].In:Proc IEEE Workshop on Applications of Computer Vision,Princeton,NJ,1998,8-14.

[11]Collins R et al.A system for video surveillance and monitoring:VSAM final report[C].Carnegie Mellon University,Technical Report:CMU-RITR-00-12,2000.

[12]B.Lucas and T.Kanade,An Iterative Image Registration Technique with an Application to Stereo Vision[C],Proceedings of the 7th International Joint Conference on Artificial Intelligence,pp.674-679,1981.