虚拟现实出版物制作应用原则探究*

□文│周荣庭 王中贝

每一次出版业的创新与变革都伴随着新技术的发明与发展，随着计算机技术与互联网技术的发展，出版呈现出数字化、自动化与一体化的技术特征。[1]虚拟现实（Virtual Reality，简称VR）技术以其沉浸性、交互性、构想性乃至多感知性的综合呈现，为出版物的内容制作增添了驱动力和魅力，但同时也提高了制作的难度，对出版物制作提出了新的要求。相比传统的数字出版物，虚拟现实出版物的内容生产方式由单一的编辑策划转向了多元的协同共享，用户的体验交互由传统的被动接受转向了主动参与，制作技术由线性的编辑制作转向了基于技术匹配的迭代式内容生产，开创了全新的内容创作流程，丰富了出版物与出版服务的形态。

一、虚拟现实出版物

虚拟现实领域与出版领域的融合让出版物焕发了新的活力，但目前学界对虚拟现实出版物尚无明确的界定，对虚拟现实出版的内容制作流程尚无系统的梳理。因此，界定虚拟现实出版物，阐释虚拟现实出版物内容制作的一般流程，可为虚拟现实出版物内容制作的应用原则探究提供理论基础。

1.概念及分类

1994年保罗·米尔格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出了现实—虚拟连续系统（Milgram's Reality-Virtuality Continuum）。[2]他们将真实环境和虚拟环境作为连续系统的两端，位于中间的被称为“混合现实（Mixed Reality，简称MR)”。其中靠近真实环境的是增强现实（Augmented Reality，简称AR），靠近虚拟环境的则是增强虚拟（Augmented Virtuality，简称AV）。

基于“现实—虚拟连续系统”理论，广义的虚拟现实是包含混合现实（增强现实+增强虚拟）与目前业界一般认为的虚拟现实（表现为虚拟环境所构建的虚拟世界）技术与应用的统称，它是用户通过计算机对复杂数据进行可视化操作与交互的一种新方式，且不同于个人电脑（Personal Computer，PC）时代的人机交互，在技术思想上有了质的飞跃。此时虚拟现实中的“现实”是泛指在物理意义上或功能意义上存在于世界上的任何对象或环境，可以是实际上可实现的，也可以是实际上难以实现的或根本无法实现的。而“虚拟”是指用计算机生成的意思。因此，广义的虚拟现实本质上就是用计算机生成的一种特殊环境，人可以通过使用各种适当装置将自己“投射”到这个环境中，并对这个环境进行操作或者交互，实现特定的目的。该理论为明确虚拟现实出版物的内涵与外延提供了支持。

图1 现实—虚拟连续系统

鉴于此，虚拟现实出版物也可以有广义与狭义的界定。广义的虚拟现实出版物是指借助于虚拟现实这种综合集成技术，用计算机及其辅助系统生成逼真的三维视、听、触、嗅、味等感觉，使读者或用户作为参与者通过适当装置自然地对虚拟场景进行体验和交互的出版物。制作这样的出版物可集成计算机图形学、人机交互、传感、人工智能等各种不同的技术，以达成读者和用户的虚拟现实体验和交互。

按照出版物中虚拟信息叠加在真实环境的程度，广义的虚拟现实出版物又可分为两类：第一类是增强现实出版物，可简称AR出版物，是指在现实空间叠加一层虚拟信息，一般需通过现实中的物理实体作为载体进行数字内容的加载呈现。基于混合现实（MR）技术的出版物强调了虚拟信息与现实环境的交互性，可将虚拟信息和现实环境叠加，产生新的可视化环境，其中的物理环境和数字对象共存并可实时交互。这样，业界通常将混合现实出版物视为AR出版物的一个分支。第二类是狭义的虚拟现实出版物，这类出版物利用数字技术呈现出虚拟的三维立体空间，并隔离现实环境，让读者或用户仿佛置身于虚拟世界，产生沉浸感和临场感，这类出版物就是业界一般认定的虚拟现实出版物，本文用“VR出版物”标示狭义的虚拟现实出版物，以示与AR出版物的平列。

VR出版物常见的产品形态有VR视频、VR游戏等，如安徽新知数媒科技有限公司提供计算机动画（Computer Animation ，CG）全景视频《前程THE PROSPECTS》，可以通过Gear VR（三星推出的一款虚拟现实头戴式显示器产品）、Oculus Rift（一款虚拟现实头戴式显示器产品）、Google Daydream View（谷歌推出的虚拟现实头戴式显示器产品）浏览4个沉浸式场景：知识殿堂、中微子探测器、脱氧核糖核酸（DNA）和宇宙，用户戴上三星Gear VR眼镜就可进入梦幻的立体空间，近距离地观察微观粒子，感受科学之美。[3]

AR出版物常见的产品形态有AR图书、AR游戏、AR视频、MR游戏、MR应用等。如在纸质卡牌上出现虚拟恐龙的AR图书、手掌上伴随出现的虚拟天体的科普APP、室外出现虚拟精灵的《精灵宝可梦GO》游戏、Magic Leap（美国的一家增强现实公司）宣传视频中从体育场馆地面跳跃而起的虚拟大鲸鱼、基于HoloLens（微软首个混合现实头戴式设备）开发的《我的世界》（Minecraft）游戏。

2.内容制作的一般过程

虚拟现实出版物的制作是指通过创作、设计、开发等方式，借助于设备终端等介质，提供用于传播、发行的虚拟现实出版物节目源的业务活动。制作需经过一个完整的产品周期，其实现过程如图2所示。虚拟现实出版物的内容生产过程须根据用户的需求进行内容策划与产品设计，通过技术开发与建模等环节完成产品的制作，完成产品后借助于终端设备的呈现来实现与用户的人机交互，最后再通过用户的体验反馈进行需求的采集，使整个内容的生产过程形成闭环。

图2 虚拟现实出版物的内容制作一般过程

3.现状及问题

虚拟现实是一种新的媒介表现方式，对数字出版物的呈现方式进行了扩充，创造出一个具有仿真性、互动性和构想性的虚拟环境，满足了受众对信息可视化的变革需求。如与传统报纸融合的VR报纸《纽约时报》，应用在教育实践的VR图书“大开眼界”丛书[4]、AR科普图书《消失的世界》[5]等，均探索了虚拟现实出版物的可行性与可实践性，并被市场验证具有较好的传播效果。

由于虚拟现实行业并无统一的标准规范，造成虚拟现实出版物的质量也参差不齐。[6]从内容制作方面来说主要有以下问题。

一是成本问题，由于虚拟现实所特有的沉浸感与交互性，造成了内容制作时软、硬件成本的提升，出版物的内容质量与开发成本产生了较大的矛盾。[7]

二是将虚拟现实技术应用在出版物时，带来了叙事方式的转变，如何更好地将技术与内容融合，进一步优化用户体验，是多数出版机构开展虚拟现实出版物的内容生产时所面临的挑战。目前市面上有许多为了展现酷炫技术而定制的产品设计，如AR出版物关于恐龙科普图书市面上已有多本，其交互方式均为扫描卡片或书本出现立体恐龙模型，交互设计沉浸感较弱，缺乏创新性。

三是技术条件制约了内容制作的空间限度，如VR出版物的眩晕问题，包含显示画面的质量问题、视觉与其他感官的冲突、人眼的辐辏调节冲突（accommodation-convergence confict，ACC）[8]等，其中内容制作模型精度较低或者终端设备分辨率不高等因素均影响了显示画面的实际质量。空间位置定位和姿态角度定位的精度和速度问题均会造成图像渲染的延迟进而造成较差的沉浸感体验，前两项目前已可通过性能参数相匹配的设备解决，ACC的问题目前多位学者正在从光场显示技术、多焦点显示、可变焦显示等新的技术领域进行研究。[9]

虚拟现实出版物在技术的应用过程中虽然有以上应注意的问题，但目前多数出版物仍将虚拟现实技术作为一种特效的附加功能。如何促进虚拟现实与出版物的真正融合，本文从虚拟现实出版物内容制作过程的3个维度,即产品、用户、技术等维度进行内容制作原则的解析，以期对虚拟现实出版物的实践探索提供参考和借鉴。

二、产品视角下的协同性原则

虚拟现实出版物的内容制作由于其生产环节的复杂性，对生产主体的专业要求跨度较大。不同于传统出版物生产主体各司其职的单一生产环节流程，虚拟现实出版物的制作是基于多个生产主体的协同生产，需构建出一个多环节相互支撑的内容生产流程。从产品视角来看，其生产主体的协同性是虚拟现实出版物内容制作的基本要求。

1.虚拟现实出版物生产流程的多环节

传统出版物生产形成了以出版者、印刷者、书商合作分工的生产者主体，以著作、编辑到印刷、发行的内容生产链条。随着数字技术的发展，出版物则利用数字技术进行内容编辑加工并通过网络传播，此时内容生产数字化，形成了统一的“数字化工作流程”，常见的出版物格式如EXE、TXT、CEB、STK、PDG、CAJ、SEP、XPS、CHM、XEB、PDF、MOBI等，包括了呈现在电子阅读终端、电子纸终端的专业数据库、电子出版物、网络出版物等。

相比较传统的数字出版物，虚拟现实出版物的内容制作更接近于互联网产品的生产过程，相对复杂，增加了包括模型制作、界面设计、交互设计、技术开发等若干个新的生产环节。由于虚拟现实技术的沉浸感往往通过三维空间的景物呈现或者叙事表达，场景制作多是通过拍摄或制作全景视频、全景照片或者三维模型来实现。界面的设计风格则是根据市场需求及用户定位所决定，同时考虑到成本限制、技术实现等原因，交互设计首先是基于用户体验的舒适性，其次考虑设备的可实现效果进行设计。由于生产环节的增加，虚拟现实出版物的制作可以由一家具有上述全方位设计和制作能力的平台完成，或者由具有独特优势或能力的多方主体协同完成。

2.基于协同原则的生产环节构建

目前市面上的虚拟现实出版物制作主体多是传统出版社的编辑、策划人员与以技术为导向的信息技术（Information Technology，IT ）企业的技术开发人员或者内容制作人员所组成。如图3所示，产品经理须把握整个产品的市场定位及总体方向；内容策划人员负责出版物内容价值的实现，主要负责内容脚本的设计；产品设计人员将脚本转化为基于用户使用场景的APP交互逻辑后进行功能设计，包含了界面设计及交互设计；产品开发人员须将策划的产品功能付诸实现，包括模型制作、技术开发与设备调试等工作。在这一过程中，以产品经理为主导，策划人员、产品设计人员与产品开发人员相互协作，通过对产品策划的可行性不断地进行讨论与分析，转化为基于用户体验的产品逻辑进行产品设计，设备特性及技术可行性决定了出版物的最终产品形态。

以AR出版物《消失的世界》为例，电子工业出版社负责了图书内容的策划与包装，中国科学技术大学终身学习实验室依据图书内容进行产品的设计，包含了APP的界面设计及交互设计，确定了产品的美术风格、功能逻辑等。中国科学技术大学先进技术研究院（以下简称“中科大先研院”）新媒体研究院则负责了产品模型的制作及技术开发，3家单位相互协同，共同完成了《消失的世界》的内容制作。

由于生产环节的复杂性，目前市场上涌现了一批如Easy AR、Amazing AR等AR技术开发平台。该类平台简化了AR出版物的开发过程，同时为传统出版社提供了技术开发的便捷通道。传统出版社的技术初学者也可通过平台实现云识别、标记物跟踪等AR技术，独立制作自己的AR产品，降低了AR出版物内容生产的难度。

图3 虚拟现实出版物的制作多元主体协同

三、用户视角下内容制作的体验设计原则

虚拟现实出版物不仅是一种阅读功能导向的产品，而且是一种强调用户体验性的产品。其核心价值在于通过人机交互来实现用户与内容的交流互动，同时用户的体验反馈对虚拟现实出版物内容生产提出新的要求，形成了迭代式的内容生产环节。基于用户的递进性体验诉求便构成了体验设计的原则，它强调交互的合理性、自然化与创意化，是虚拟现实出版物内容制作的核心影响因素。

1.虚拟现实出版物用户的递进性体验诉求

虚拟现实是人使用眼睛、耳朵、语言、皮肤、手势等感觉器官与虚拟信息进行交互来实现信息的传递，运用其目的是为了消除虚拟信息与现实环境的界限，创造良好的用户体验。在人机交互中有一种基于可用性和用户体验的设计原则称为“无意识认知交互”。[10]其核心强调交互的自然性与无意识。用户的体验诉求呈递进式分为以下3个层次。

一是交互合理性。用户在对产品进行体验时，可基于对真实世界物理规律的经验，完全按照与真实物体的交互方式与终端进行交互。如利用手机可以借助陀螺仪进行方向定位，跟踪用户的转向，模拟出宛如现实中头部旋转360度后观看到的立体场景。索尼的PSVR（PlayStation VR，索尼电脑娱乐公司推出的VR头戴式显示器产品）、HTC vive（HTC与Valve联合开发的一款VR虚拟现实头戴式显示器产品）等头显设备均使用操作手柄作为交互的硬件支持，用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力，这种触觉反馈技术也是用户感到交互合理化的常见手段，其学习成本低，满足了用户对交互合理性的需求。

二是交互自然化。用户能自然地与机器进行交互，形成隐形的自然用户界面。[11]用户在产品体验过程中不使用实体的输入工具，而是使用身体的某一部分如语音、手势、骨骼等直接进行人机交互。如中科大先研院新媒体研究院制作的AR科普作品《伟大的一餐》中的播种场景，通过Kinect（微软的XBOX360体感周边外设）传感器捕捉用户的肢体动作，控制虚拟的农民伯伯插秧播种，在反复地蹲下播种虚拟麦苗的过程中使用户感受到粮食的来之不易。这类交互方式使用户感到舒适自然，宛如身体与虚拟信息在同一时空互动，满足了用户对自然性的体验诉求。

三是交互创意化。基于用户已有的思维模型进行拓展设计，在超出用户已有经验基础上同时保持交互自然，往往可以达到较好的用户体验效果。如现实物理空间中人是无法缩放真实物体的，但由于思维模型可抽象出物体上的两点始终对应手指的位置，因此用户在显示设备上缩放虚拟物体才不会感到不自然。心智模型（Mental Model）是对用户思维过程的解释，说明事物如何在现实世界中起作用。[12]它源于对周围世界的经验，又高于经验。如中科大先研院新媒体研究院制作的AR出版物“魔方盒子”《海洋生物》，改变了常见AR出版物的物理载体与虚拟信息呈现方式。在交互设计中通过盒子的碰撞可以使虚拟的鱼从一个立体海洋场景盒子跳跃进入到另外一个海洋场景内部，如图4所示。基于用户的认知经验，一个实体的盒子可以通过透视关系理解为一个立体空间，但用户的经验是不允许虚拟的鱼从一个实体盒子中跳跃到另外一个实体盒子中，这时用户的思维模型则依据“鱼可以跳跃”抽象出在实体盒子之间也能跳跃的创意想法，这种思维模式的拓展方式可使用户觉得该交互方式既在情理之中，也在意料之外，用户因产品交互的创新性而体验到趣味性，产生愉悦感。

图4 AR出版物“魔方盒子”《海洋生物》

2.基于用户体验的内容迭代式生产

用户体验是用户使用了产品后的主观感受。相比较传统出版物以单一的作者、编辑视角引导用户阅读，虚拟现实出版物在叙事结构上发生了较大的变化，主客体关系形成了以用户为中心的体验式阅读，情节的推进主要靠用户的深入体验，而非制作者的线性逻辑，但也因此使出版物的传播效果增加了不确定性。如在VR出版物的全景视频中，一个故事是在虚拟环境四周的某一个角度中发生，如果此时用户在观察其他的场景错过了主线故事，则该产品便失去了出版物的内容价值，无法达到有效的传播效果。此时，分析用户行为与脚本设计的契合度是必要手段，通过不断收集用户行为的交互数据，使用迭代的方式完善脚本设计与功能设计，使用户获取有价值的内容信息。

在虚拟现实出版物的内容制作过程中，第一个版本上线后需通过邮件、电话等传统联系方式收集用户反馈信息，也可通过技术手段获得用户行为数据后进行分析。如在关于交互数据的采集统计分析中，产品负责人通过数据看到一个交互被操作了很多次，对数据进行分析有可能是该交互功能很受欢迎，也可能是该交互易误操作，根据交互设计师的不断体验和总结分析后如是误操作则需对该交互进行调整。又如产品负责人通过数据看到一些功能很少被用到，分析其原因有可能是用户找不到入口、无法操作或用户很少能够使用到，此时则需根据实际情况进行分析是否要修改该功能或直接合并、删除该功能，确定最终的解决方案。在对用户行为数据呈现的问题进行分析后改进产品设计，发布到应用市场后重新收集用户的行为数据进行再一次的迭代更新，不断优化产品内容，以达到更加良好的用户体验。

四、技术视角下内容制作与设备的匹配性原则

虚拟现实正在以前所未有的发展速度进行跨领域的融合创新，在经历了硬件发展的第一阶段之后，内容及算法的创新应用成为第二阶段的关键问题。由于目前市面上虚拟现实软硬件质量参差不齐，虚拟现实出版物的内容制作需根据软硬件接口的非标准化情况进行匹配设计，主要从硬件的两个方面考虑，一是硬件技术指标与内容制作的匹配，二是硬件成本与内容制作的匹配。

1.虚拟现实出版物存在软硬件接口的非标准化

虚拟现实产业发展遵循了从硬件到内容的发展节奏。随着近两年对虚拟现实技术的不断探索，硬件门槛已显著降低，内容制作与感知交互是目前虚拟现实的核心竞争领域。当下基于设备开发的虚拟现实产品完成后需发布到社区才可面向市场推广，不同社区如Oculus Home（Oculus Rift的应用商店）、Viveport Arcades（HTC VR内容管理与销售平台）、Steam商店（目前全球最大的综合性数字发行平台之一）、PlayStation Store（索尼游戏网上商店）会面向不同（一种或多种）的设备。如基于HTC vive和Oculus Rift的内容产品在Steam商店上架，基于索尼的PSVR和微软的Hololens的内容产品则是上传发布到自家的商店，上传要求与规则差异较大。

2017年4月中国电子技术标准化研究院曾牵头制定了虚拟现实头戴式显示设备通用规范联盟标准，2017谷歌I/O全球开发者大会上谷歌也开始尝试制定入门级移动端VR头盔的软、硬件标准。但总体来说，目前国内外并无一个健全的虚拟现实行业标准体系，造成了目前市场上软、硬件水平参差不齐的现状。以Osmo（美国Tangible Play 公司开发的iPad 配套玩具）为例，它是一款适用于iPad（美国苹果公司研发的平板电脑） 与iPhone（美国苹果公司研发的智能手机）的游戏套件，通过Osmo反光镜固定在设备的前置摄像头处以将设备前方区域投射到配套软件中，进而实现现实场景与虚拟内容的结合，该款教育游戏产品基于套件已开发了数十种益智小游戏，帮助儿童在娱乐中学习数学、拼图等知识，是典型的非标准化的软硬件创意终端设计。

在目前的虚拟现实行业应用市场，大众主流的虚拟现实平台载体主要包含了移动式设备、主机式设备与一体式设备等产品形态，如表1所示。在内容制作方面，不同的设备聚焦的应用领域差异较大。移动式虚拟现实设备属于入门级产品，较为适合轻应用，如手游、影音社交、直播等领域，其中移动式VR设备内容多以3D游戏和视频为主，AR设备主要以手机为载体，通过摄像头实现应用软件的虚实交互。主机式的设备则相对成熟，用户体验更好，内容也更丰富，如基于HTC vive开发的应用软件，主要针对深度游戏玩家和影音用户，而Meta 2（美国Meta公司的增强现实头戴式设备）则以更自然的数字信息交互方式为内容生产提供了新的可能，目前主要应用在办公场景。一体机产品便携性较好，但受当前技术限制，短期内难以成为主流产品，未来可在日常应用、专业办公、深度影音游戏、行业应用等领域进行使用。美国Techviz公司的Cave（洞穴）虚拟现实系统则可创造一个完全沉浸式体验的虚拟环境立体空间，更适合于国防军事、建筑、航天等领域的应用。

近期由于自动驾驶、车联网等领域的迅速发展，车载式AR设备也成为了新兴的热门研究领域，如乐驾科技公司的车萝卜（Carrobot）探索了车载式HUD（Head Up Display，抬头显示器）的实现可能性。更具前瞻性的虚拟现实隐形眼镜如iOptik（美国AR公司Innovega的隐形眼镜系统，现更名为eMacula）以其轻便、智能等特性，代表了未来虚拟现实产品的终极预期形态。

表1 常见虚拟现实设备产品形态

2.基于技术匹配原则的设备选择

虚拟现实技术在出版物中应用的核心价值是实现内容与用户的无障碍沟通，服务于出版内容的解读。技术的演变必然经过一个从不成熟到成熟的过程，尽管目前市场上并无统一的虚拟现实标准体系，但是在内容制作时应考虑技术与内容生产的匹配性，而非将技术作为产品的一个噱头。

虚拟现实的内容依赖设备的呈现，内容制作时应充分考虑设备的技术指标，明确目前虚拟现实技术的优势与局限，有针对性地设计产品功能。首先应明确设备的可实现效果，如基于Oculus touch（Oculus Rift的动作捕捉手柄）的手持控制柄能够实现抓握来模拟虚拟物品的拿起、放下等交互，在内容设计时如涉及虚拟物品的抓握，应避免选择无手柄控制器的设备（如手机）。其次应明确不同的技术产品形态适合表现不同的内容特性，如纯数字VR技术产品更适合展现沉浸式的内容，实体与虚拟信息结合的AR技术更适合展现趣味性、交互性较强的内容，VR可穿戴互动设备更适合互动性强、动作幅度较大的产品内容。在内容制作过程中应综合技术特性进行设备的选择，且需遵循以下两个匹配原则。

一是技术的匹配。内容制作时必须兼容现有设备的特性，包容设备的缺陷和技术瓶颈。如三维建模过程中模型精细度过高会导致手机运算量太大难以承载，在目前的技术条件下内容呈现的实时性与内容制作的精确性便产生了矛盾。其中设备分辨率的高低决定了三维场景建模的大小和显示画质的质量，CPU（Central Processing Unit，中央处理器）计算能力、GPU（Graphics Processing Unit，图形处理器）的渲染能力决定了用户体验是否流畅。只有全面考虑软硬件功能、性能所能支持的边界，才可在内容生产过程中确保技术的可行性。

二是成本的匹配。在内容策划过程中，预算会直接影响策划内容的复杂及制作的精细程度。[13]虚拟现实出版物的场景制作由原本二维空间转化为可交互的三维空间，内容制作的工作量和技术难度会大幅提升，意味着开发成本的提升。同时虚拟现实出版物需借助配套的硬件设备才可使用，使受众的消费成本增加。为了保证出版物质量，应意识到成本对整个产品设计起到的重要作用。若预算有限，在确保出版物质量时，要考虑是否使用更简单的交互方式来减少技术成本支出、调整美术风格以减少建模费用支出等。只有在产品策划过程中提前考虑到制作成本与内容生产的匹配性，才可从总体的内容设计上完成对成本的控制。

五、结论

目前市场上虚拟现实出版物的内容设计及交互方式仍存在同质化现象，反映了现阶段虚拟现实出版物内容生产的局限性。本文从产品、用户及技术三个维度对虚拟现实出版物的内容制作提出了协同性、体验性及匹配性三大原则，探讨了虚拟现实技术应用在出版业的理论基础。随着硬件设备性能的提升，关键技术的完善，网络设施的发展，在下一轮虚拟现实技术的行业应用洗牌中，如何打造高质量的产品将是虚拟现实技术与出版融合的核心任务，还需虚拟现实出版物参与制作的各方开展深度合作，虚拟现实出版物的技术提供方、服务提供方、营销平台良性互动，共同探索实践，进而细化和深化制作技术的应用原则，提升虚拟现实出版物的传播效果。

（作者单位：中国科学技术大学终身学习实验室科技传播与科技政策系）