基于KINECT的人机交互系统的研究

李奇　李木子

摘要：该文从桌面增强现实和人机自然对话两方面入手，重点对PC平台的人机交互进行重点研究，对基于KINECT的人机交互过程中的动作进行自定义，优化动作分类预测效果，提高系统虚实融合的准确性与实时效率。

关键词：KINECT；人机交互；动作识别

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）27-6469-03

Abstract： This article consists in two aspects of the desktop augmented reality and man-machine dialogue nature. Focus on human-computer interaction system based on the PC platform. The action in the process of human-computer interaction is based on KINECT customization. It optimizes action classification prediction effect and improves the efficiency of system actual fusion accuracy and real-time-efficiency.

Key words： KINECT， Human-computer interaction， Motion recognition

基于KINECT的人机交互系统可以理解为一种特殊的人机交互平台，不同于传统的WIMP界面交互，它是一种典型的Non-WIMP界面交互。通常意义上的WIMP界面指的是基于窗口、图标、菜单、和指标装置的用户界面，这种界面是串行和离散的[1]。而基于KINECT的人机交互系统是基于Non-WIMP界面的，其人机交互兼具有并行和连续的特点，几乎可以实时做出交互响应，这样基于增强现实的人机交互系统，既能满足了对实际生活中的各种功能需求，也满足了人们对交互方式更加便捷、更加自然的要求，特别是随着移动终端的发展，增强现实的研究领域得到拓展，也越来越受到学者和企业工作者的关注和推崇，具有十分广阔的研究前景[2]。

1 KINECT构成和工作原理

KINECT共有三个摄像头，中间是RGB摄像头，用来拍摄视角范围内的彩色视频图像。两边的是深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来发射、接收红外线提供场景深度数据深度。其中红外发射器（又称红外投影机）主动投射红外线，当红外光谱照射到粗糙物体时光谱发生扭曲，会产生随机的反射斑点（称为散斑），接着被红外接收器读取。红外接收器（又称红外摄像头）分析红外光谱，创建可视范围内的人体、物体的深度图像。KINECT的两侧是一组四元麦克风阵列，可同时过滤背景噪声实现声源定位和语音识别；KINECT下方还有一个带内置马达的底座，该马达配备追焦技术，可以通过编程控制调整俯仰角获得最佳视角。

通过体感摄像头KINECT可以捕获实时场景中的彩色图像数据，深度图像数据、音频数据，本系统重点研究的是对基于深度数据流的人体骨骼的跟踪和识别，为提高该多媒体系统交互实时性，提出一系列优化系统性能，提高运行效率的方法和思路。

4 结论

本系统是利用KINECT获取的深度数据识别真实场景中人物不同动作后渲染叠加不同的动画帧，获取人体骨架信息，并根据不同关键点的位置信息自定义动作，完成和三维动画的虚实交互，并与真实的RGB图像融合显示，形成虚实交互的效果。实验表明，在场景较为单一、光照良好时，人机交互的效果十分理想，当用户做出不同动作时，模型动画会级联响应，并播放各种音乐效果，趣味性十足。本系统通过个别少量姿势的定制，三维引擎的渲染、结合机器学习和模式识别等智能理论技术，利用获得实时数据的高精确度定位，更好地提高系统的稳定性和实时性。可应用于数字营销、科教、移动导览、设计与仿真、物联网等众多领域，具有非常高的实用意义。

参考文献：

[1] 张永林. 浅谈一种基于Kinect的体感交互应用开发方法[J].电脑知识与技术，2014（14）：3369-3371.

[2] 林填锋，杨洁霞. 基于kinect的人体识别技术的一些改进[J].电脑知识与技术，2012（21）：5220-5223.

[3] 倪晨，邱鹏，王锋，等. Kinect体感技术在人机交互中的应用研究[J].信息技术与信息化，2013（1）：87-90.

[4] 张毅，张烁，罗元，等. 基于Kinect深度图像信息的手势轨迹识别及应用[J].计算机应用研究， 2012（9）：3547-3550.