基于手势识别技术的交互式虚拟摄影系统设计与实现

沈洁

摘 要： 传统虚拟摄影系统使用手动式控制识别，无法实现短距离交互式非触感识别，为此设计基于手势识别技术的交互式虚拟摄影系统。使用Kinect深度图像模型对手势图像进行分割预处理，完成手势关键节点定位；使用Kinect属性传感器剥离环境条件以及手势表面噪音数据；以数据编程形式对手势特征进行提取并标记关键节点；计算定位延迟，实现交互式虚拟手势姿态定位。试验结果表明，设计的交互式虚拟摄影系统比传统虚拟摄影系统的Miuyg参数高出20%，说明设计的系统具备极高的有效性。

关键词： 手势识别技术； 交互式； 虚拟； 数据编程； 摄影系统； 系统设计

中图分类号： TN919.3?34 文献标识码： A 文章编号： 1004?373X（2018）05?0093?04

Abstract： The traditional virtual photography system uses the manual mode for recognition control， which can′t realize the short?distance interactive non?tactile recognition. Therefore， an interactive virtual photography system based on gesture recognition technology was designed. The Kinect depth image model is used to perform the segmentation and preprocessing for the gesture image to locate the gesture key nodes. The Kinect attribute sensor is used to eliminate the environmental conditions and gesture surface noise data. In the form of data programming， the gesture characteristics are extracted and key nodes are marked. The positioning delay is calculated to realize the interactive virtual gesture positioning. The experimental results show that the Miuyg parameter of the interactive virtual photography system is 20% higher than that of the traditional photography system， which indicates that the designed system has higher effectiveness.

Keywords： gesture recognition technology； interaction； virtualization； data programming； photography system； system design

0 引 言

在虚拟摄影系统中多数使用接触式控制进行虚拟摄影的调试。传统虚拟摄影系统由于对呈现方式的需求，需要一定的短程识别调试[1]。手势识别技术通过数学算法来识别手势的变化，对不同动作的识别实现短程的虚拟控制，继而能够有效地实现虚拟摄影系统的短程控制。针对上述背景，本文设计基于手势识别技术的交互式虚拟摄影系統。使用Kinect深度图像模型对虚拟图像进行手势节点定位，经过手势图像的预处理去除环境影响因素以及手势表面噪音，使用编程进行图像特征的提取，通过延迟计算实现交互式虚拟手势姿态定位，完成交互式虚拟摄影系统设计。为保证设计的有效性，模拟使用环境进行仿真试验，实验数据表明本文设计的交互式虚拟摄影系统具备极高的有效性。

1 交互式虚拟摄影系统硬件模块设计

1.1 手势图像分割预处理

手势图像分割预处理过程主要使用Kinect深度图像模型的深度相机对手势进行图像采集预处理，如图1所示为针孔摄像机与识别手势的模拟图[2]。假设手势图像的光源是从场景或者很远的地方射过来的非点光源，经过影像的倒置投放到成像平面上，成像平面为相机镜头所在平面，相机镜头到成像平面的焦距为表示相机镜头到手势图像的距离，即识别深度。为手势的识别长度，是成像平面上手势所成的图像。

一般情况下，Kinect深度图像模型使用针孔摄像机采集手势图像，并对手势图像进行整理，使用多种等价形式对手势图像进行保存[3]。如图2所示，将一张采集后的手势图像放置在一个坐标系中进行多点的等价置换。这样可以去除数学上的符号变化，使得记录结果更加简洁。理想情况下，Kinect深度图像模型将手势图像的主点设置在成像芯片的中心处，但实际上会存在偏差，芯片的中心设定在主光轴上，为此，Kinect深度图像模型使用两个参数和分别修正手势图像在轴和轴方向的偏移，这样手势图像对于相机坐标系里的一点始终保持不变，并且可以标定手势图像的有效坐标为

1.2 手势图像深度处理

Kinect深度图像模型中包含的Kinect属性传感器会对图像进行一定程度的噪音抵消[4?5]。但是由于受虚拟摄影系统的内部结构以及手势图像中的场景环境条件等因素影响，造成手势图像出现各种噪声以及影响识别因子，对手势图像分割过程造成的影响很大，为此需要消除Kinect属性传感器、手势图像场景环境、手势表面特性噪音。

消除Kinect属性传感器的噪音，可以使用TOF原理，消除Kinect传感器中由红外光源造成的相关性周期抖动的噪音，TOF原理对手势图像进行深度测量，恢复手势图像的实际深度位置。同时针孔摄像机经常出现的噪声也会通过TOF原理进行抵消，在图像分割预处理过程中的边缘噪音能够使用TOF原理进行修正[6?7]。endprint

手势图像场景环境噪音主要由手势图像场景内光照条件造成，其中Kinect深度图像模型内置补光能够补充的不是很多，余留的差别光源造成严重的光源噪声。消除方式使用点对点的置换消除，通过环境的多重刻画进行图像的光源替换，虽然不能全部消除，但是能够抵消绝大多数的噪音影响[8]。

手势表面特性噪音产生的方式是由于不同的物体表面的反射率不同，当光源变化造成反射率较低时，手势图像入射光量会减少，因此手势图像会出现颜色深度变化，比如手势图像中黑色物体吸收的光不足，在图像中的测量无法对物体轮廓进行选定[9]。在消除过程中，增设光线置换系统，对光线不足的情况进行补充，对光线较强的地方进行光线削弱，以此消除由于光线造成的手势表面特性噪音。

本文设计的手势图像深度处理流程如图3所示。

2 交互式虚拟摄影系统软件设计

2.1 手势图像的特征提取

在手势图像特征提取的过程中，需要参照手距离虚拟摄影系统的距离、手势的姿态位置以及交互式的条件等，一个好的关键特征能够区别出不同的手势大小以及姿态，还能够去除环境因素的影响，手势图像关键特征要满足以下几个条件：首先旋转、平移、缩放不会发生变性；其次满足归一化转动惯量变化，并能够使用傅里叶原理进行描述；最后满足图像不变矩和几何特征描述[10]。

手势图像特征提取通过空间的分布情况，在概率统计中用空间表示手势图像特征的分布情况，手势图像分割过程中会得到特征二维密度分布状态，使用不同的名称进行标注，再经过数据编程进行提取。本文手势图像的特征提取关键编码如下：

#include

#include

using namespace std

int main（int argc，手势图像）

IplImage * 标定特征= cvLoadImage（"E：＼＼Download＼＼test1.jpg"，1）；

IplImage*特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage*h_特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage*s_特征=cvCreateImage（cvGetSize（src），位置，非有效）；

IplImage* v_特征=cvCreateImage（cvGetSize（src），位置，有效）；

IplImage* planes[] ={ h_plane， s_plane }；

/*H分量划分16个特征节点，S分量划分为8个提取等级*/

int h_bins = 提取， s_bins =保留；

int hist_size[] = {h_bins， s_bins}；

cvRectangle（ hist_img， cvPoint（i*bin_w，height），

cvPoint（（i+1）*bin_w，height ? intensity），

color， ?1， 重新提取， 0 ）；

cvNamedWindow（ "定位"， 1 ）；

cvWaitKey（0）；

2.2 交互式虚拟手势图像姿态定位

在手势图像进行交互过程中，交互式虚拟机本机振荡会产生与手势图像关键节点信号相同的一组P碼（或C/A码），由于延时器与图像接收器的频率不同，在延时器的延时频率强于图像接收器时，当两组信号彼此重合，手势图像便进行了双重定位[11]。

假设交互式虚拟器中手势图像时钟为在图像坐标值处的第个关键节点出现时，手势图像的钟面时为，此时虚拟摄影系统时钟的钟面时为由于手势图像钟、交互式虚拟器时钟以及虚拟摄影系统时钟不同步，其时钟差分别为：

式中：分别表示手势图像时钟差、虚拟摄影系统时钟差[12]。设某一手势图像信号在时刻采集到虚拟摄影系统接收的时刻为则手势图像的传播延迟为： 由此可得手势图像与虚拟摄影系统的距离为：

式中：表示光速[13]；表示延迟间距。在实际使用中，测得的信号收发时刻具有一定的误差，手势图像钟面时以及虚拟摄影系统接收时刻钟面时手势图像的实际延迟量应为将结果式代入式（3）中得：

式中：则式（4）可表示为：

式中：表示定位距离，实际使用中会有一定误差，因此计算值往往大于实际值。经过定位距离的选定也实现了交互式虚拟摄影系统设计。

3 试验分析

为了验证设计的基于手势识别技术的交互式虚拟摄影系统有效性，解决短距离识别控制问题，以某博物馆中的虚拟摄影系统为实验对象，分别进行Miuyg参数对比试验以及交互虚拟影响控制实验，为保证本文试验的有效性，使用本文设计的基于手势识别技术的交互式虚拟摄影系统与传统虚拟摄影系统进行对比，对比结果在统一数据图中显示。

3.1 数据准备

在设计的交互式虚拟摄影系统基础上，试验采用双摄像头，设计了一款“猜拳游戏”，即用两个摄像头同时捕捉并识别两个使用者的手势，然后对手势图像进行比较，并将比较结果显示在屏幕上。按照“猜拳游戏”规则，共有三种手势，均为已经标定的手势，如图4所示。试验准备数据如表1所示。

3.2 Miuyg参数对比试验

Miuyg参数是衡量虚拟摄影系统短距离控制有效度的参数，能够有效对虚拟摄影系统进行综合评估，在不同条件下手势图像得到的Miuyg参数是不同的，经过平均值的求取得到最终Miuyg参数结果。

本文设计的基于手势识别技术的交互式虚拟摄影系统与传统虚拟摄影系统的Miuyg参数对比试验结果如图5所示。

通过对图5分析可知，本文设计的基于手势识别技术的交互式虚拟摄影系统在Miuyg参数测试结果上明显高于传统虚拟摄影系统，并且Miuyg参数节点的波动幅度呈现规律变化，无较大的数据波动说明系统运行平稳。传统虚拟摄影系统数据平稳后比本文设计系统低20%左右，因此说明本文设计的基于手势识别技术的交互式虚拟摄影系统具备极高的有效性。

3.3 交互式虚拟影响控制实验

交互式虚拟影响控制实验对比结果见图6。通过对图6分析可知，本文设计的基于手势识别技术的交互式虚拟摄影系统的交互影响参数更加贴近于标准值。交互影响参数是一个综合性参数，能够反映摄影系统的交互控制调节能力，交互影响参数越大摄影系统越具备完备性。通过图6可以说明，本文设计的基于手势识别技术的交互式虚拟摄影系统具备短程控制调节有效性。

4 结 语

本文设计了基于手势识别技术的交互式虚拟摄影系统，使用手势识别技术实现短程有效控制，实验数据表明，本文设计的摄影系统具备极高的有效性。希望通过本文的研究能提升虚拟摄影系统的短程控制能力。

参考文献

[1] 周天彤，徐飞林，张旖帆，等.基于unity和kinect的交警手势识别仿真系统的设计和实现[J].计算机测量与控制，2016，24（5）：156?159.

ZHOU Tiantong， XU Feilin， ZHANG Yifan， et al. Design and implementation of simulation system about traffic police gesture′s recognition based on unity and kinect [J]. Computer measurement & control， 2016， 24（5）： 156?159.

[2] 梅明亮，王翠凤，何炳蔚.基于视觉的手势识别技术及在小车控制中的应用[J].长春大学学报，2016，26（8）：24?31.

MEI Mingliang， WANG Cuifeng， HE Bingwei. Vision?based gesture recognition technology and its application in automobile control [J]. Journal of Changchun University， 2016， 26（8）： 24?31.

[3] 江铁成.基于视觉手势识别技术的实践研究[J].合肥师范学院学报，2016，34（3）：31?34.

JIANG Tiecheng. Practical research on recognition technology based on visual gesture [J]. Journal of Hefei Normal University， 2016， 34（3）： 31?34.

[4] 张玉军，孟晓军，王刚.基于手势交互的三维电子沙盘系统设计与实现[J].指挥控制与仿真，2016，38（2）：110?114.

ZHANG Yujun， MENG Xiaojun， WANG Gang. Design and implementation of 3D electronic sand table system based on gesture interaction [J]. Command control & simulation， 2016， 38（2）： 110?114.

[5] 吴福理，丁胤，丁维龙，等.基于Leap Motion的虚拟农作物人机交互系统设计[J].农业工程学报，2016，32（23）：144?151.

WU Fuli， DING Yin， DING Weilong， et al. Design of human computer interaction system of virtual crops based on Leap Motion [J]. Transactions of the Chinese society of agricultural engineering， 2016， 32（23）： 144?151.

[6] 潘志庚，刘从晋，葛莹莹，等.支持自然交互的虚拟跑步机系统的设计和实现[J].系统仿真学报，2017，29（11）：2753?2759.

PAN Zhigeng， LIU Congjin， GE Yingying， et al. Design and implementation of virtual treadmill system supporting natural interaction [J]. Journal of system simulation， 2017， 29（11）： 2753?2759.

[7] 李朝新，张俊平，吴利青.虚拟现实技术支持下的GIS立体显示系统的设计与实现[J].测绘通报，2016（9）：119?122.

LI Chaoxin， ZHANG Junping， WU Liqing. Design and implementation of GIS stereo display system based on virtual reality technology [J]. Bulletin of surveying and mapping， 2016（9）： 119?122.

[8] 于宁波，李思宜，赵营泉，等.基于共享控制的人机灵巧力触觉交互系统设计与实现[J].仪器仪表学报，2017，38（3）：602?611.endprint

YU Ningbo， LI Siyi， ZHAO Yingquan， et al. Design and implementation of a dexterous human?robot interaction system based on haptic shared control [J]. Chinese journal of scientific instrument， 2017， 38（3）： 602?611.

[9] 赵康.基于GIS的虚拟景观平台设计与实现[J].测绘科学，2017，42（3）：165?168.

ZHAO Kang. Research on virtual landscape platform based on GIS and VR [J]. Science of surveying and mapping， 2017， 42（3）： 165?168.

[10] WANG L， ZHANG G， LIU Z， et al. Design and implementation of real time gesture recognition system based on monocular vision [J]. Electronic science & technology， 2017， 8（6）： 12?45.

[11] ZHANG B， SUN X， WU Y. Design and implementation of gesture recognition algorithm based on convolution neural network [J]. Microcomputer & its applications， 2017， 78（1）： 120?133.

[12] LI Y T， YU D C， JIN L P， et al. The design and implement of cognitive training system based on leapMotion gesture recognition [J]. Electronic design engineering， 2016， 5（2）： 55?61.

[13] ZHANG Y J， MENG X J， WANG G. Design and implementation of 3D electronic sand table system based on gesture interaction [J]. Command control & simulation， 2016， 38（2）： 356?390.endprint