虚拟环境下的多维视觉几何匹配方法研究

张 华,徐 亮，刘满禄,2,张 静,2 ，王 姮,张兴宇

(1.西南科技大学信息工程学院，四川 绵阳 621010；2.中国科学技术大学信息科学技术学院，安徽 合肥 230026)

0 引言

虚拟装配技术是常用的工程技能训练技术之一。在工业生产过程中，新员工的装配技能训练需要消耗大量的工时。而虚拟装配正是解决该类问题的有效途径[1-5]。目前，虚拟装配系统存在的问题有：①虚拟感知信息不足，操作者极易疲劳；②操作临场感不强；③复杂操作环境中，操作对象视觉受限，致使操作效率降低。

针对上述问题，王念东等人提出了虚拟现实(virtual reality，VR)集成装配系统，系统复杂，成本较高，不利于实现[6]。沈佳中等人提出了力觉虚拟装配系统，尽管操作效率有所提升，但操作视觉较为单一，装配中一旦有物体遮挡，操作者不能及时感知，极容易发生碰撞现象[7]。卢丽婷等人提出了单点式力反馈器的虚拟装配[8]，通过力觉反馈技术，操作者可感受到操作对象外形，优化了装配性能，但仍未弥补视觉信息缺陷。

基于此，本文提出了一种多视角辅助虚拟装配方法。根据虚拟空间操作任务与操作对象的复杂程度，适当增加辅助视觉维数。通过增加操作视角，操作者在操作过程中可同时看到各个辅助视觉窗口信息，并实时修正装配过程中出现的偏差，以此降低操作难度。

1 虚拟装配系统

虚拟装配系统的主端为力反馈装置，从端为虚拟装配环境。通过主从端之间的空间匹配关系，将操作主端的末点工具坐标点映射至虚拟环境中，形成代理点。操作者通过操作主端，实现对从端虚代理点的位置和姿态控制。当代理点影射至操作对象时，操作对象位置与姿态会随代理点的变化而变化，实现对装配对象的运动控制。系统框图如图1所示。

图1 系统框图 Fig.1 Block diagram of the system

2 视角空间匹配

2.1 视觉维数关系

虚拟装配系统作为训练平台，当系统视角过多，系统显得极其复杂，操作人员无法同时顾及过多的视角信息；当视角太少，模拟训练装配效率太低，操作者极易操作疲劳。因此，视角维数是判断虚拟装配系统好坏的关键。人的视野维数与装配复杂度有着密切关系。视野维数由视野中的位置因素和视线因素所决定[9-10]。

2.2 空间关系匹配

在虚拟装配系统中，虚拟工作空间的视觉锥体需要与实体工作空间进行映射匹配，确保操作者有良好的视觉角度。Geomagic Touch设备工作空间[11]为扇形体，虚拟空间与之匹配时，为确保不出现盲区，需要将视椎体映射至操作空间中[12-14]。传统装配系统一般只有一个窗口。现对系统进行改进，分别添加主视角、俯视角和左视角作为辅助窗口。在三维坐标中，需要设定其中一个轴向比例，其余方向比例依据映射计算得到[15]。

2.2.1 主视角关系映射

在主视图空间匹配中，视锥体与视觉角度相反。当Z轴方向比例固定后，需根据X轴和Y轴的映射关系，求解出主视图视椎体在操作空间对应的比例系数，完成视锥体在操作空间中的匹配。主视角X轴方向映射关系如图2所示。

图2 主视角X轴方向映射关系图 Fig.2 Mapping relation of the X-axis direction of the main viewing angle

在XOZ平面中：l1和l2分别为映射区前端和后端平面长；β为视锥体宽度方向视觉半角；L1和L2为视锥体远平面和近平面宽；dz为映射代理点沿Z轴方向微小距离。几何关系为：

(1)

(2)

(3)

由式(1)～式(3)可得主视角X轴方向的比例系数：

(4)

主视角Y轴方向映射关系如图3所示。

图3 主视角Y轴方向映射关系图 Fig.3 Mapping relation of the Y-axis direction of the main viewing angle

在YOZ平面中：s为工作空间映射区的高；γ为高度方向视觉半角；h1和h2为视锥体近端和远端裁剪面高。

映射几何关系为：

(5)

(6)

由式(5)～式(7)可得主视角Y轴方向的比例系数：

(7)

当kzx和kzy系数确定后，则完成了主视图的视锥体与操作空间的映射匹配。

2.2.2 俯视角关系映射

在俯视图匹配中，当Y轴比例关系确定时，需通过求解出Z轴和X轴的对应比例关系，完成左视图的视锥体与操作空间的匹配。俯视角Z轴方向映射关系如图4所示。

图4 俯视角Z轴方向映射关系图 Fig.4 Mapping relation of the Z-axis direction of the top viewing angle

在XOZ平面中：v为设备工作空间映射区的长度，β为长度方向视角视觉半角；L1和L2为视锥体近裁剪面和远裁剪面长度。映射几何关系为：

(8)

(9)

由式(8)和式(9)可得俯视角Z轴方向的比例系数 ：

(10)

俯视角X轴方向映射关系如图5所示。

图5 俯视角X轴方向映射关系图 Fig.5 Mapping relation of the X-axis direction of the top viewing angle

在XOY平面中：f为设备工作空间映射区的宽度；γ为宽度方向视角半角；n1和n2为视锥体近裁剪面和远裁剪面宽度。几何关系为：

(11)

(12)

由式(11)和式(12)可得俯视角X轴方向的比例系数:

(13)

2.2.3 左视角关系映射

在俯视图匹配中，X轴方向比例固定后，只需映射Y和Z轴的对应比例关系，即可求出视椎体在操作空间的关系。左视角Y轴方向映射关系如图6所示。

图6 左视角Y轴方向映射关系图 Fig.6 Mapping relation of the Y-axis direction of the left viewing angle

在XOY平面中：w1和w2为映射区前端和后端平面的长；β为视锥体长度方向的视角半角；L1和L2为视锥体近裁剪平面和远裁剪平面宽；dx为沿X轴方向位移。几何关系为：

(14)

(15)

(16)

由式(14)～式(16)可得左视角Y方向的映射比例系数：

(17)

左视角Z轴方向映射关系如图7所示。

在XOZ平面中：P为设备工作空间映射区的高；γ为高度方向的半视角；n1和n2为视锥体近裁剪面高和远裁剪宽。几何关系为：

图7 左视角Z轴方向映射关系图 Fig.7 Mapping relation of the Z-axis direction of the left viewing angle

(18)

(19)

由式(18)和式(19)得左视角Z轴方向的映射比例系数：

(20)

3 力觉计算

在虚拟装配系统中，代理点与虚拟物体接触时产生虚拟力觉，计算机将力觉信息实时反馈至操作主端，操作者可感受到从端虚拟力。根据力觉信息和辅助窗口，操作者操作主端完成虚拟物体的拾取、移动、旋转、释放等操作功能。在虚拟空间中，力觉产生的大小和方向与代理点和物体接触的穿透深度和接触位置有关。当代理点穿入物体深度越大，产生力觉效果也就越明显。

4 试验仿真与结果分析

为验证改进后装配系统的视觉效果和交互性能，采用力反馈设备与OpenGL图形库构建虚拟仿真环境，计算机硬件环境为CPU酷睿i5-4590,3.30 GHz，显卡为GTX960-4 GB。装配模型为3Dmax 2015绘制，保存后缀为3DS文件供系统调用。选取了10名用户，对传统装配系统和有辅助视觉系统进行5次虚拟装配训练试验。

试验完成后，用户从视觉感知性能和操作性能，分别对两种系统进行评价并给出分数，用户评价分数满分为10分。平均分结果如表1所示。

表1 平均分结果Tab.1 Average result

由表1可以看出，具有辅助多维视觉虚拟装配操作系统的性能要优于传统虚拟装配系统，尤其是视觉显示与沉浸感有了较明显的提高。

分别记录每位用户在两种系统下完成5次虚拟装配时间，用户完成任务时间如表2所示。

表2 用户完成任务时间Tab.2 User completion task time s

由表2可以看出,较未改进的单一窗口装配系统，具有辅助多维视觉虚拟装配操作系统的操作耗时间明显缩短，最低可达37.0%，最高可达53.7%，表明多维视觉能够解决视觉信息反馈不足的问题。试验过程中，对操作时间求取平均值，从而避免试验数据的偶然性。同时，10名用户在相同的操作环境下的操作时间和相对节约时间不尽相同，这是由每个用户在操作过程中学习的熟练程度不一样所致。在多维视觉辅助下，系统的操作效率高。

5 结束语

本文着重研究了基于力反馈设备的虚拟装配系统中辅助视觉实现方法，提出了多维视锥体与操作空间匹配的几何方法，并设计了多维视觉辅助装配系统。引入的多维辅助视角实现虚拟装配辅助功能，解决了传统虚拟训练系统在装配过程中的视觉信息反馈不足的问题。

多名用户在单一视觉装配系统和多维视觉辅助装配系统分别完成了试验。试验结果表明，所设计的多维视角辅助训练装配系统较传统单一视角装配系统而言，能够解决视觉信息反馈不足的问题，有效降低了训练者的操作难度，提高了训练者的操作效率，增强了系统交互性能。试验证明了多维视觉虚拟装配操作系统的有效性、可行性。在下一步的研究工作中，应进一步优化视觉匹配方法，尽量避免繁杂的几何运算，实现多维视觉系统快速的匹配。

参考文献:

[1] 王纯祥,孙文磊,赵群,等. 面向虚拟现实技术的风机装配与风场模拟[J]. 自动化仪表,2012(10):56-58.

[2] 张晓朋. 虚拟仪器技术在智能家居监控系统中的应用与设计[J]. 自动化仪表,2016(10):86-88.

[3] 覃亮，邓德茹，马丽欣，等. 虚拟装配技术在化工仿真培训系统中的应用研究[J]. 计算机与应用化学,2016(5):543-547.

[4] 罗仕鉴，龚蓉蓉，朱上上．面向用户体验的手持移动设备软件界面设计[J]．计算机辅助设计与图形学学报,2010,22(6):1033-1041.

[5] 王发麟，廖文和，郭宇，等. 线缆虚拟装配关键技术研究现状及其发展[J]. 中国机械工程,2016(6):839-851.

[6] 王念东,刘毅.面向虚拟装配的VR与CAD系统信息集成技术[J].机械科学与技术,2009,28(1):25-28.

[7] 潘仁宇，孙长乐，熊伟，等.虚拟装配环境中碰撞检测算法的研究综述与展望[J].计算机科学,2016,11(43):136-149.

[8] 卢丽婷，刘林.基于单点式力反馈器的虚拟装配研究[J].图学学报，2014,35(2):280-284.

[9] ATSUKO E,NORIAKI Y,TASUYA S.Automatic estimation of the ergonomisc sparameters of assemble operations [J]. CIRP Annals Manufacturing Technology,2013,62(1):13-16.

[10]户艳，邵晓东，高巍.考虑人的因素的虚拟装配引导方法[J].计算机集成制造系统,2016,22(3):695-704.

[11]岳龙旺,王树新,贠今天.显微外科手术机器人协同工作空间分析[J].中国机械工程,2005,16(20):1851-1855.

[12]熊巍，王清辉，李静蓉.面向虚拟装配的层次化交互手势技术[J].华南理工大学学报,2016,44(1):78-84.

[13]XIA P,LOPES A,RESTIVO M.Design and implementation of ahaptic-based virtual assembly system[J].Assembly Automation,2011,31(4):369-384.

[14]吴亚峰，于复兴.Unity3D游戏开发技术详解与典型案例[M].北京：人民邮电出版社,2012:158-160.

[15]BRUNO F,ANGILICA A,COSCO F,et al.Reliable behaviour simulation of product interface in mixed reality [J].Engineering with Computers,2013,29(3):375-383.