基于联觉效应的VR交互式图形与图像混合建模

唐偲祺

摘 要：VR交互式体验的出现，使用户在虚拟场景中感觉到自己是场景中的主体，用户通过三维等交互设备直接控制虚拟世界中的对象，以一种新的观看世界的方式将图像演进到一个新的阶段——图像场景阶段。为传统视觉联觉带来了全新的感知体验，图形图像作为场景中的核心构成部分，在交互式场景中也起到了重要的作用。

关键词：视觉语言;交互式图形图像建模;联觉

虚拟现实技术以对视觉、听觉、触觉等多种不同感官得自动模拟，让体验者在实际进行使用的整个过程中就犹如身临其境一般，在其所虚拟的整个现实生活世界中“既有手可以摸又看得见，也摸得着”。它将虚拟图像、图像场景设计师与虚拟场景体验者之间的各种文化生产关系进行同时空间交互操纵的同时，不必再要求任何图象或主体的在场。这种完全具备了共享性，流变性，互动性的虚拟场景联觉体验方式颠覆了我们传统的虚拟场景感官联觉体验。

在一个虚拟现实的场景中，视觉感官的语言在一定的程度上引导着交互式虚拟场景的叙事情感体验主线的形成和发展。体验者视觉感官的认知与情感体验认知的发展是密不可分的，通过进行各种自主性的感官律动，获得多感知性，交互性以及情感的沉浸性。基于计算机图形与图象的虚拟场景混合联觉建模的技术，通常来说是基于现代计算机图形学的三维立体几何结构的模型，它将建模、绘制与基于图象的混合建模、绘制的优点于融为一体。但是实际运作的过程中，也出现了很多有关人机交互的实际性问题。

一、VR中的视觉与语言的感官交互联动性

虚拟现实的语言和场景视觉构造与虚拟现实传统的视像系统完全不同。首先，虚拟现实不仅在本质上是视觉可感知的，而且它还是触觉可感知和可交互的。触觉也无疑是在虚拟现实场景的构建和视觉系统中十分重要的组成部分。正如德里克德克霍夫所言：“当你在VR中四处闲逛时，你的整个身体都与周边环境接触，就像你在游泳池中身体与水的关系那样”。其次，虚拟现实技术是一种图像技术对场景的立体呈现，并且它不是单一的立体图像。虚拟现实的场景氛围包括了时间，空间，以及设备支持等，同时还指向行为与心理的环境氛围。以往我们对于图形图像的观察和感知都认为是独立地存在于其之外的，是一种客观的，孤立的视角。VR将真实的图像场景呈现出来成为一个不受任何时空限制的具有连续性的图像虚拟现实场景，体验者可以根据自身的需求，置身于图像虚拟与现实的场景中，充分发挥其个体的主观能动性，随意地控制其与图像虚拟现实场景的交互进程，体验良好的交互感，甚至使体验者能亲身感受其进程所带来的交互反作用。第三，虚拟与现实的场景不仅仅可以是真实与虚拟的，也是一种图像虚拟与现实的有效交互结合。

二、关于虚拟现实场景中三维图形图像的混合处理和建模的必要性

虚拟与现实场景交互体验已有的基于自然的交互设备主要包括：快速方便地将真实虚拟世界的立体彩色的三维物体图形信息直接转换为由计算机能直接进行处理的三维数字信号的三维图形图像扫描仪，能对场景中客观模型物体产生力量的视觉或触觉感应和反馈数据的三维扫描手套和数据服等，但是用户与图像虚拟现实场景的交互行为及感/知觉的交互仿真程度仍然依然存在一些技术性的问题，主要是受制于传感设备和传感器技术的发展和产业化水平的诸多因素限制。比如对于体验者在对虚拟现实场景建模中的热知觉反馈与传感器的技术就未得到解决。

用户在对VR现实场景的建模中，可以用useravatar这个特殊的虚拟实体对象的虚拟形象直接进入到现实场景中。对于具有良好的视觉和触感体验的虚拟现实场景的搭建技术，需要在对图形图象的建模以及绘制的技术基础之上，以对图象的插朴、变形、拼合等复杂的方法进行来设计和实现。这样，体验者和用户可凭借头盔显示器等交互设备技术来直接获取自身对于体验者在VR现实场景中的虚拟性的深层次理解以及模块对象的信息。目前VR混合建模场景的软件构建，最广泛的一种构建场景方式就是通过使用混合建模场景的软件进行构建，目前我们可以看到的混合建模应用场景大多都是用3dsmaxs这款软件构建的场景。场景的混合建模还需要进一步研究和完善所建模型的相關物理和数学特性。如何在虚拟场景中构建的虚拟实体对象与纯粹虚实体对象之间的距离和位移包括位置、摆设的方向，以及如何在虚拟场景中光源的照射下虚拟场景中实体对象几何模型形成的实体亮度、阴影的强度及摆设的方向与纯粹虚对象的实体亮度、阴影的强度及方向上的准确匹配作为首先我们需要考虑和解决的物理属性问题，这也是我们进行混合场景建模的一个主要难度所在。

三、基于联觉效应的VR几何实体对象建模与IBMR虚拟环境的空间关系与透视匹配

在对虚拟现实场景进行视觉体验的过程中，由于目前计算机在图像的质量和光学成像性能等诸多方面的技术存在缺陷，体验者可能会对视觉产生诸如眩晕，模糊等明显的不适感。因此，VR虚拟场景和几何中的实体图像场景空间和视觉的呈现效果需要以虚拟现实场景环境现实世界中的图像场景坐标和具体位置作为数据支撑。IBMR场景建模的目的是基于对图像的真实感，因此在以连续的图像呈现虚拟场景中，采用IBMR的方法进行场景建模，可以有效弥补了传统基于图像几何模型的绘制场景建模技术的不足，同时还能给出更丰富的信息进行图像场景显示。真实的成象与图像传感器的定标信息之间的数值误差性较大，导致了体验者会感觉真实场景的视觉感知与在虚拟真实世界中随着物体的坐标位移产生的其他感官知觉也产生了误差。目前解决这个误差问题的有效解决办法之一就是通过使用预先设定的特征控制点坐标值来对其进行误差校正，即由实际摄影测量结果所得的同一预设特征控制点的对象点坐标系的坐标值与根据虚拟双目立体空间视觉图像计算反求得出来的同一预设特征控制点的对象点值，与虚拟真实世界中物体坐标系的坐标值误差进行了比较，以准确判断坐标位移产生的误差值，计算得出相应的修正误差值。该双象解析算法的主要数学理论基础是基于虚拟摄影立体空间测量计算科学理论中的双象立体图像解析算法和摄影测量计算技术的双目立体空间前方交会计算原理。

参考文献：

[1]宗世英.艺术视觉素养[M].北京：科学出版社，2017：29-30，31.

[2]谭雪芳.福建论坛.人文社会科学版，2017（6）：1671-8402（2017）06-0169-08.