应用虚拟现实技术的人机交互仿真系统开发

曹文钢， 王 锐， 张红旗， 陈帝江， 彭五四

（1. 合肥工业大学机械与汽车工程学院，安徽 合肥 230009；2. 华东电子工程研究所，安徽 合肥 230058）

虚拟现实（Virtual Reality简称VR）技术是20世纪90年代最重要的科技成就之一，与传统的计算机系统相比它具有多感知性、沉浸感、自治性、交互性4个显著的特征[1]。该技术可以对真实世界的行为活动进行仿真，并对用户的位置、姿态、语言等做出实时响应，借助一些交互设备可以使参与者以接近自然的方式与虚拟环境中的对象进行交互，从而使参与者和虚拟环境之间建立起实时的交互关系，产生与真实环境中相似的感觉体验。

人因工程是研究人和机器、环境的相互作用及其合理结合，使设计的及其和环境系统适合人的生理、心理等特点，达到在生产中提高效率、安全、健康和舒适的目的的学科。它要求设计者在设计时充分考虑使用者的能力和限制，为用户提供一个应用便利、交互友好的设计[2]。然而由于前期设计阶段缺少可用的评价模型和手段，人因工程学方面的要求难以被充分考虑，经常需要反复设计，消耗大量时间和成本。虚拟现实技术的引入将为这一问题的解决带来一种新的思路，其主要优势有以下几点：

（1） 利于摆脱对物理模型的依赖；

（2） 利于在设计早期发现缺陷并及时修正；

（3） 利于快速调整所关心的变量；

（4） 利于记录、保存相关操作数据。

基于VR技术多方面的优势，国内外一些研究机构都在进行这方面的尝试。例如，美国Marshall空间飞行中心研制出载人航天器的VR 座舱进行人因工程学研究，指导座舱布局设计并训练航天员熟悉航天器的舱内布局、界面和位置关系，并演练飞行程序[3]。国内方面，北京航天医学工程研究所也在进行这方面的研究工作，如应用VR技术开展载人航天器乘员舱内颜色匹配性的工效学研究，提高舱颜色匹配性工效设计的逼真性、灵活性和经济性[4]。目前这些研究还主要集中在航空航天领域，在军事中应用较少，而现代武器控制系统大多界面复杂、交互性强、危险性高，人因工程研究非常重要。本文应用虚拟现实技术开发了一套可用于人机交互研究的集成仿真系统，以实现对雷达显控台布局的测评和改善工作，从而提高其安全性、可靠性和可用性。

1 系统的构成及实现原理

该系统的硬件设备主要包括：SGI VSS80工作站、科视Montage LX50被动立体投影系统、视频信号分配器、数据手套（5DT Data Glove 16）、跟踪器（Ascension FOB)、立体眼镜。软件：Division Mockup2000i2、RapidVRM、Trackd、Pro/E。其集成方式如图1所示。本系统采用1块尺寸为2.6米（宽）×2.0米（高）的屏幕、1台仿真计算机、1台视频信号分配器和2台5000 ANSI流明的投影仪组成一个单通道被动立体投影显示系统，将虚拟显控台显示在屏幕上。操作者佩戴立体眼镜在实际尺寸的虚拟显控台前进行实时交互操作，如按启动键来启动设备，调节旋钮控制参数。系统中用户进行操作的虚拟显控台模型包括几何模型和控制逻辑模型两部分[5]。

图 1 系统集成图

几何模型使用Pro/E进行建模，然后通过格式转换导入Division中通过纹理贴图，打开立体开关投影就可以直观地呈现出显控台场景；图2为本文所设的显控台的简化几何模型，约1.5米长，含18个指示灯，12个按键，4个旋钮，4个仪表和1个显示屏。

控制逻辑模型是对控制逻辑的定义，如按键、旋钮与指示灯、仪表之间的对应关系等。这里借助Division的事件触发机制实现控制逻辑。例如，当操作人员按下开机按键R1时，逻辑模型会控制A指示灯亮，同时开机音乐被触发，其后台控制过程如图3所示。

图 2 几何模型图

图3 逻辑控制原理图

2 关键技术

2.1 三维建模与数据转换

Division 本身没有建模功能，需要先用Pro/E对显控台进行建模然后通过三维数据接口模块MockupConverter 进行数据转换。通常情况下有两种方式往Division 入模型：① 数据量小的模型可以通过Proewildfire2.0 或之后的版本转换成Productview 的*.ed 文件；② 利用第三方软件object_adapters_11.0 在 DOS 环境下调用proe2pv_init.exe 文件对已有的模型进行处理，然后输出包括几何文件、材料文件、材质文件和VDI 文件在内的结果文件（可以处理大型模型）。

2.2 外设集成

由于数据手套、跟踪器不能直接跟Division 进行交互，这里选择VRCO 公司的Trackd 软件和Visual Advantage 公司的RapidVRM 插件架设一座“桥梁”。其原理过程如图4 所示。

图4 外设集成原理图

以上过程的实现需要对trackd.conf 文件进行重定义和修改，并创建一个reg文件将RapidVRM插件的信息导入注册表，从而实现对Trackd 获取信息的解析和 Division 信息的反馈。并在trackd.conf 文件中需要预定义外设名、数据传输速率、内存地址标示、数据流关键字等：

DeviceOption DX controller Rumble 0 （Rumble 0 为本机对应的外接设备名称）

DeviceOption DX baud 19200 定义传输速率

ConnectorOption Shm2 key 4127 定义内存地址标识

DefineConnector Shm2 shm out 1 定义共享内存和跟踪传感器个数和数据流关键字

2.3 运动跟踪和手指姿势跟踪

系统中使用5DT公司的Data Glove 16 数据手套共有16个光电传感器，由合成弹力纤维制造而成，其中嵌入16 个光学纤维传感器，分别用于测量各个手指1、2 关节的屈伸角度、做收展动作时手指间的夹角、基部关节和中间关节的弯曲曲率、相邻两个手指之间的伸展角度、拇指的平移和手腕部的弯曲曲率。（各个传感器的输出数据在0～1之间，对应的角度范围为0°～90°。）通过16个传感器返回的实时数据跟踪手指姿势。

位置跟踪器（Ascension FOB）是数据手套交互中的辅助设备，用于测量腕部的6个自由度值和控制虚拟手的空间位置和方向。通过发射器发射形成磁场，然后由接受器感受磁信号，通过信号处理器计算出传感器相对于发射器中心的空间位置和方向[6]。（跟踪器在工作范围（±1.5 m）内工作效果较好，但是其精确性容易受到工作空间中导磁导电体影响，因此位置跟踪器的发射器、传感器等元件应远离金属、磁导体。）位置跟踪器与数据手套配合使用，实现对虚拟手运动跟踪和手指姿势跟踪。

2.4 操作识别和命令获取

本系统研究对象只有两种操作动作：按按键和拧旋钮。通过控制文件中预定义语句，即时判断动态捕捉到的操作人员的手的动作是否有效。计算机可以对这两种动作进行识别，控制文件中预定义语句的逻辑定义如下：同时满足以下条件时，“按按键”动作有效：

（1） 食指伸直；

（2） 食指位置与按键有接触；

（3） 接触时间大于设定值。

同时满足以下条件时，“调节旋钮”动作有效：

（1） 拇指和其他四指都处于弯曲收缩状态；

（2） 两指或两指以上数目的手指与旋钮有接触；

（3） 接触时手指呈顺时针旋转或逆时针旋转。

从系统开始运行，计算机将所有的操作命令数据保存在计算机内，研究人员通过检测和分析这些数据，可以对操作人员的工作绩效和作业标准进行评估和测试。例如，误操作次数，操作反应时。

2.5 系统显示技术

系统中的模型显示，采用单通道被动立体显示技术。在显示信号的转换过程中，使用立体信号转换器，解决计算机主动式输出信号转换为被动式信号的问题。把图形工作站输入的一路主动式信号源，转换成两路被动式信号输出给两台投影机，将一个视点自动调整为左右眼两个视点，使图像映射在银粉屏幕上。观测者佩戴过立体眼镜观看时，根据偏振原理，通过偏振光眼镜，用户的左右眼都只能看见各自的图像（即被动同步的立体投影）。这种在虚拟系统中直接模拟左右眼图像，与传统的单一图像偏振立体显示系统相比，不仅不需要昂贵的视频分离器，而且立体效果更加逼真。图5 为系统单通道被动立体显示原理图。

图5 单通道被动立体显示原理图

3 实验应用

为验证本实验系统的可行性，对3种基于不同布局原则设计的显控台设计方案，进行了操控绩效测评实验。方案A按照重要性原则，将最重要的控件集中放置在最便于操作的位置，如将按键1、按键2等所有的按键集中地放置在面板中央，便于手动操作，指示灯1、指示灯2等所有仪表集中放置在面板上方，便于眼部观察。

方案B使用频度原则，将使用频率最高的控件集中放置在最便于操作的位置，如将旋钮1、旋钮2等所有的按键集中地放置在面板中央，便于手动操作，仪表1、仪表2等所有仪表集中放置在面板上方，便于眼部观察。

方案C按照功能性原则，将完成同一功能的相关部件成组进行布置，如仪表1与控制它的旋钮1、仪表2和控制它的旋钮2全部放置在控制面板的A区；相应地，按钮1、按钮2和指示灯1、指示灯2放置在B区，依此类推；设计A、设计B和设计C都放置了4个仪表、18个指示等和12个按钮，实验开始后，仪表会随着旋钮的旋转改变指示范围，任意一个仪表的指针超出正常范围（误操作），对应的报警灯都会变亮，警报声响起，需要操作者按下相应的按钮才能消除警报。如果有按键被按下而警报未解除即产生了误操作。

实验目的是为了比较这3种设计的操作反应时、误操作率等操控绩效参数有无差异及差异大小。实验共邀请了20名有相关操作经验的人员参加实验，按照有关实验设计方法和控制方法严格实施实验，所得初步实验分析结果如表1。

实验结果表明，方案C的平均操作反应时要长于方案B，方案A又长于B，但三者的误操作率按C、A、B依次增高，因此，对于操作正确率要求更高的情况，宜采用方案C；对于操作反应时间要求更高的情况，可采用方案B。上述实验很好地验证了本仿真系统的应用可行性，为开展更多类似实验提供了参考。

表 1 显控台布局设计实验数据结果

4 结 论

本文基于虚拟现实技术开发了一个可应用于人因工程研究的集成仿真系统。使用磁跟踪器和数据手套解决运动跟踪和手指姿势跟踪问题；通过先建立逻辑定义，再预定义语句对操作动作进行判断从而识别有效动作；利用Division的事件触发功能实现对操作动作的实时响应；应用单通道被动立体投影系统实现立体显示。初步实验结果验证了该系统的可行性，为虚拟现实环境下的人因工程学研究探索了一新方法。

[1] 张树生, 杨茂奎, 朱名铨, 等. 虚拟制造技术[M]. 西安: 西北工业大学出版社, 2006. 32-33.

[2] 孙林岩. 人因工程[M]. 北京: 中国科学技术出版社, 2001. 2-3.

[3] TICKER R L, AZZOLINI J D. 2000 survey of distributed spacecraft technologies and architectures for NASA’s earth science enterprise in the 2010-2015 time frame [R]. NASA Technical Memorandum, NASA/TM-2000-209964, NASA Goddard Space Flight Center, Greenbelt, MD, 2000: 107-110.

[4] 周前祥, 曲战胜, 姜国华, 等. 载人航天器乘员舱内颜色匹配性设计虚拟现实系统的研究[J]. 系统仿真学报, 2002, 14(9): 1171-1174.

[5] 王 颖, 廖可兵, 郭 阳, 等. 集成人机交互仿真系统研制与应用[J]. 系统仿真学报, 2007, 11(19): 2493-2495.

[6] 罗 斌, 何铁凝, 郑 澎. 基于WTK 的数据手套交互控制模块设计与实现[J]. 计算机仿真, 2004, 21(8): 2493-2495.