基于增强现实与人体动作识别的互动游戏应用设计＊

胡莉，张力伟

（1 河北师范大学，石家庄 050024；2 中国移动通信集团河北有限公司，石家庄 050001）

增强现实（AR）技术是一种通过利用摄影机获取影像，并结合图像及视频处理、3D建模等技术，将现实世界呈现在屏幕上，实现现实与虚拟世界的互动。

当前游戏市场发展较快，从最先前的游戏机发展到现在的电脑手机游戏，并且体感游戏越来越受欢迎，游戏的类型在随着社会发展不断创新升级。目前这些体感游戏是通过电脑合成的虚拟画面，用户并不能体验到更为真实的面对面对战效果。通过增强现实技术，结合人体动作识别技术，可以将电脑虚拟出的特效与实际场景进行融合，开发一个实时的远程互动游戏，这可以进一步提高游戏过程中的沉浸感。

1 AR技术原理

AR技术是把实际场景与虚拟场景进行“无缝”集成的一种新技术，通过计算机图像处理等技术手段，将实际场景内的特定时间空间内的信息进行模拟仿真，人们可以通过体验虚拟信息去感知真实世界，并且能实现超越真实世界的感官体验。

基础实现原理如图1所示。

图1 增强现实技术实现原理图

AR技术则把虚拟对象带入到用户的物理世界中，通过听、看、触摸虚拟信息，来增强对物理世界的感知。增强现实具有3个典型特点：实时处理与交互性强；集成现实与虚拟场景信息；通过3D建模技术在三维空间添加虚拟实体。

2 人体动作识别技术

人与计算机交互过程，从最初的鼠标和键盘等输入设备之后，发展到近几年的触摸屏方式后，但存在一个明显不足，要求人与触摸屏的距离要保持一定距离。而随着体感交互的兴起，逐渐被大家得到认可，并被应用到游戏领域中。体感交互与传统方式相比，不受输入设备的限制，只需要用户进行特定的肢体姿势就可实现人际交互过程，进而提升了沉浸感。

体感交互包括接触和非接触两种交互方式，本文聚焦非接触人体交互方式，非接触式的人体动作识别方法通常需要利用Kinect采集人体骨架信息，根据采集到的信息进行计算处理。一般常用的方式是采集手心位置变化轨迹计算分析做了什么手势，这种方法的前提是需要采集多人数据进行训练，然后根据训练结果进行计算判断，具体做了什么手势。由于仅仅采集手心节点的运动轨迹，在识别复杂一点动作时就增加误判的概率。例如左手向前与左手上举两个动作，很有可能会出现判断失误，因为左手向前与左手上举两个动作基本都有向上和向前，两个动作幅度略微不同。所以需要多采集其它骨架信息进行计算，区分这两个动作。

骨架节点信息如下所示。

rjian.x rshou.x ＞0.1，//右肩x值比右手心x值大0.1m。

rjian.x rshou.x ＜0.4，//右肩x值比右手心x值小0.4m。

rshou.y rzhou.x ＞0.15，//右手心y值比右肘x值大0.15m。

rjian.x rshou.x ＞0.4，//右肩x值比右手心x值大0.4m。

abs（rshou.y rzhou.y）＜0.15，//右手心和右肘y值相差不超0.15m。

这种方法有很多优点，可以只用一个函数就实现整个判定过程，判定条件可以手动添加并且不需要找很多采样点进行数据训练，并且该方法对于多种动作支持识别，也不局限于手势。考虑到Kinect识别的关节点相关信息与人的肉眼能够感觉到的信息有一些差异，所以为了确定最佳的判定条件，需要进行多次测试。

3 交互系统的设计

构建一个互动游戏应用，首先要搭建一个基础系统，实现实时的立体呈现与远程交互。该系统实现一些具备基础功能的组件，在基础功能组建基础上，可以结合实际场景进行扩展，比如互动游戏应用。该系统组成基本示意如图2所示。

图2 增强现实技术实现原理图

通过本系统应实现5个子目标：远程视频实时交互、增强虚拟现实效果、友好的人机交互方式并且响应实时、系统能够实现对端发送信息或指令控制另一端完成指定操作、能够通过语音方式进行交互。

4 互动游戏应用设计

在交互系统开发的基础上，不改动任何硬件，只需在系统基础功能上添加如下组件，就可以实现互动游戏应用的基本功能。

（1） 绘制游戏所用虚拟效果。通过利用游戏引擎或者导入模型文件来绘制游戏所用的虚拟效果。

（2） 定义游戏中的动作。采用非接触式人体动作识别的思路，通过采集骨架变化信息来精确定义特定人体动作。

（3） 定义对战状态信息。这其中包括能量条、血条、剩余时间等信息，剩余时间和血条尤为重要，一般在游戏中作为判定胜负的依据。

（4） 游戏开始、结束界面。游戏开始时，需增加两端用户进入游戏时的界面；游戏结束时，明确胜负结果或者游戏时间剩余为0，需增加游戏结束或再来一局的提示画面。

（5） 需改进虚拟物体运动方向校正、双目视差校正等功能。

5 展望

基于AR技术，再结合人体动作识别等技术的互动游戏应用目前还处在实验阶段，但随着技术的发展及演进，距离走上市场的时间将会越来越近。并且对于基于AR的其它扩展应用，也将会随着5G网络的建设及商用，会快速实现并进行发展，应用的体验也将得到不断改善并被认可。并且随着AR产业应用的不断创新，同时会促进运营商网络技术的发展，以适应更广大的客户群体，相信不远的将来AR技术会带给我们的生活带来无限的精彩和惊喜。

[1] 赵亚洲. 智能+：AR、VR、AI、IW正在颠覆每个行业的新商业浪潮[M]. 北京：北京联合出版公司,2017.

[2] 齐越, 马红妹. 增强现实：特点、关键技术和应用[J]. 小型微型计算机系统, 2004,25(5):900-903.

[3] 王健弘. 基于视频的人体动作识别关键技术研究[D]. 东南大学, 2017.

[4] 翟言，黄心渊，赵国英. 基于体感交互技术的虚拟展示系统[J].电视技术, 2013,37(21):16-20.

[5] 琚旋．深度与彩色相机的联合标定及其在增强现实中的应用[D].浙江大学, 2014.