混合现实（MR）出版的理论与实践探索

【摘 要】 作为MR出版的应用代表和探路者，MR“魔法报刊”在我国多地已经完成实验室研发，并投入实际应用。基于混合现实场景技术的MR出版具有三大形态特征：场景化、融媒体和交互性。这三大形态特征均源于混合现实技术的特征。MR“魔法报刊”的出版制作可以概括为平台化的六大保障和技术流程的七个环节。

【关 键 词】MR出版；“魔法报刊”；技术流程

【作者单位】张雷，河北大学新闻传播学院。

【中图分类号】G230 【文献标识码】A

近年来，在虚拟现实领域出现了一个新的方向，即混合现实（Mixed Reality，MR）。该技术是由“智能硬件之父”多伦多大学教授Steve Mann提出的介导现实发展而来的。早在20世纪七八十年代，为了增强自身视觉效果，让眼睛在任何情境下都能够看到周围环境，Steve Mann设计出可穿戴智能硬件，这被看作是MR技术探索的起步。

一、MR出版，以新的方式体验不同的世界

按照多伦多大学工业工程系保罗·米尔格拉姆提出的“现虚拟连续体”概念，混合现实（Mixed Reality，MR）、虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）和增强虚拟现实（Augmented Virtuality ，AV）都是场景科技的具体体现，它们之间既存在联系，又有区别。

简单来说，VR的视觉呈现方式是阻断人眼与现实世界的连接，通过设备实时渲染的画面营造出一个全新的世界。AR是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息运用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。MR则是对VR、AR的集成应用和提升，它通过将真实环境和虚拟环境相融合的技术，通过实景与虚景的结合，构造用户所需的高临场感多维场景体验。根据Steve Mann的理论，智能硬件最后都会从AR技术逐步向MR技术过渡。

新技术与出版的融合不断改变着传统出版的形态和内涵，MR代表了场景科技下一步的发展方向。在数字出版方兴未艾之际，以虚拟现实（VR）、增强现实（AR）和混合现实（MR）为代表的场景技术的崛起又为传统出版和新兴出版融合发展提供了新的技术和平台支撑。于是，MR出版，也就是混合场景技术出版应运而生。

在电影《哈利·波特》中，魔法世界有一份“活”的《预言家日报》，报上的人物能直接与阅读者进行视频对话。在现实世界里，借助MR技术，报纸、杂志和图书等平面媒体上的内容也能转变为活动的视觉图像展现在读者眼前。作为MR出版的应用代表和探路者，MR“魔法报刊”在我国多地已经完成实验室研发，并投入实际应用。2016年5月14日，第十二届中国（深圳）国际文化产业博览交易会乌鲁木齐馆，《新疆经济报》与新疆云联智慧网络有限公司联合制作的“概念版魔法报纸”正式亮相，它将虚拟现实（VR）、增强虚拟现实（AR）技术引入传统纸媒，让人可以借助手机和智媒互动，身临其境认识并体验新事物。2016年9月，《新疆经济报》推出了第一张正式应用版的“魔法报纸”——《新疆经济报亚欧博览会特刊》，将MR出版从实验室研发推进到实际应用。

国内其他纸媒，如《深圳晚报》《洛阳晚报》《华西都市报》《成都商报》《文汇报》等，同样也推出过基于MR技术的动态新闻，力求在有限的叙事场域中无限延展读者的认知空间。在国外，美国的《纽约时报》《华尔街日报》《洛杉矶时报》，英国的《金融时报》，日本的《东京新聞》《每日新闻》等纸媒，都陆续在传统新闻报道中运用MR技术，使报纸可以动起来，响起来。此外，复旦大学已经推出了“复旦印象”新媒体客户端，主要通过MR技术使静态图片在手机屏幕上呈现动态效果和互动内容，实现像哈利·波特魔法报纸一样的鲜活效果，并进一步拓展，将丰富的文化内容、实时的互动服务运用在校园报刊、海报、一卡通、展览、建筑、超市和校史读物等多个场景。出版对新技术的应用从未停止，从印刷术、电报、电话、广播和电视一直到互联网、移动互联网和虚拟现实，出版与各种最新技术的融合造就了当今世界丰富多彩的出版图景。

波普尔“三个世界”理论中，存在三个世界，即物理世界（简称“世界1”）、精神世界（简称“世界2”）和客观知识世界（简称“世界3”）。而所谓的“世界4”或“第四世界”，则是指20世纪70年代后，人类借助电脑网络、电子通信、虚拟技术和丰富的想象力将光、电、色、能、数字与信息集于一体，对宇宙万物和人类的政治经济、日常生活模拟缩合，构建起的一个新天地。它是对赛博空间、虚拟现实、网络世界和信息社会等新实体的综合。“世界4”与波普尔的“世界3”相比，突出展示了人的主体性、超现实性、虚拟性和想象性。如今，MR把真实和虚拟世界融为一体，创设出一个现实和数字化物体共存并能实时交流的场景世界，这又是一个崭新的世界，我们不妨把其称之为“世界5”。当我们处于现实和数字化世界交叉地带的虚拟、增强和混合现实场景之中，我们认知、感受和体验世界的方式也发生了新的变化。

二、MR出版的三大形态特征

MR出版是将混合现实技术，即MR运用于出版的采集、制作、呈现和传播所产生的新的出版形式。MR出版让我们以新的方式认知体验一个与以往不同的世界。

基于混合现实场景技术的MR出版具有三大形态特征：场景化、融媒体和交互性。这三大形态特征均源于混合现实技术的特征。混合现实具有增强现实的虚拟融合、实时交互以及三维注册的特征，较之虚拟现实系统，混合现实在真实性和交互性上具有更好的效果，超越了增强现实系统所具有的功能。混合现实的最显著特征是虚实的无缝融合，即为虚拟环境与真实环境之间的鸿沟搭建穿越的桥梁。

1.MR出版具有明显的场景化特征，实现了出版认知的高维性，显著提升了出版报道的广度和深度

MR出版不仅可以近乎完美且生动地复现出版事件的现场和全貌，而且可以让用户借助VR、AR和AV设备，亲身进入具体情境，在全景呈现的大场景中把握出版事件的来龙去脉，从任意视角捕捉各类细节。受众希望了解更多深层次内容时，只需要在移动终端上点开APP，扫描或识别一下，海量的背景信息、深度内容便会以文字、图像和音视频等多种形式被唤起，以此增强用户的现实体验，延伸其感官功能和认知空间。endprint

2.MR出版具有显著的融媒体特征，打通了纸媒、电媒和网媒，实现了多种传播方式的大集成

“魔法报刊”是典型的MR出版应用方式，它以MR融媒体运行机制为保障，以纸媒为直观呈现载体和入口，以混合现实场景技术为深度阅读体验支撑，借助普及化的智能手机应用，改变传统纸媒体承载、传播信息的方式，实现从二维到多维、单向到交互阅读体验方式的变革。

MR出版的运行不仅打通了平面媒体、音视频和虚实场景之间的界限，还将进一步驱动传统媒体机构迅速建立起中央厨房式的融媒体平台，推动传统出版业与新兴高科技产业之间的跨界融合。借助MR出版，当你在看一张电影海报时，它可以直接变成电影预告片呈现在你的眼前；当你在杂志上看到一款喜欢的汽车，它会变成一辆3D汽车，跃然纸上。

3.MR出版具有强烈的交互性特征，打通了人的视觉、听觉和触觉，实现了感官体验、人体行为和大脑思维的同步沉浸

通过MR出版，用户可以同时与虚拟环境、真实环境进行协同交互，同时系统也为用户与虚拟环境之间的交互提供更加直观、自然的沟通途径。虚拟环境与真实环境的实时同步也使人们可以在真实环境中真切地感受来自虚拟环境的一切模拟或幻想的事物，从而更加容易进入角色，增强使用的趣味性。

MR出版力求通过为用户提供视觉、听觉和触觉等多种直观而自然的实时感知交互的方式与手段，实现沉浸性（Immersion）、交互性（Interactivity）和想象性（Imagination）。不仅如此，MR出版同时又给虚拟现实的3I特征附加了新的内涵。在MR出版的混合现实系统中，用户沉浸的空间不是虚拟现实系统的计算机建立的三维虚拟环境，而是一个虚实交融、混为一体的环境。交互则指用户通过自身的感觉器官，使用专用的设备来对虚实混合环境中的物体进行观察和操作。想象则不是用户对虚拟环境的凭空想象，而是虚实映衬，更具感官真实感。

三、MR出版制作平台的六大保障

MR出版是当下尖端技术在出版上的应用，包含了融媒体、大数据、场景科技、全景影像、穿戴设备、无人机、电子枪和VR狗等。这些新技术的应用将出版带进了一个超时空的魔法时代。同时，MR出版借助虚实界科技等混合现实系统，将人类置身于一个亦真亦幻的环境里，使其把真实环境所产生的知觉与计算机生成的信息进行融合，同时采用自然的方式提供给用户，实现用户与虚实混合环境的有效、系统交互。MR出版制作需要借助六大保障才能顺利得以实现。

1.MR出版需要借助四位一体的新型MR出版制作平台

这个新型的平台以场景技术为支撑，以融媒体平台为运行保障，以大数据处理为基本能力，以全景影像采集加工为呈现基础。技术、平台、链接和载体是MR出版的核心。

2.MR出版制作需要一个精锐的执行团队

MR出版制作团队主要有以下人员组成：（1）创意策划人员，负责团队总指挥，负责方案设计，扮演产品经理的角色；（2）统筹管理人员，负责流程管理、环节统筹和资源调配；（3）内容采集制作人员，负责文字、影像和数据的采集加工；（4）技术保障人员，负责场景技术的支撑、网络链接的生成和数据存储的保障；（5）视觉设计人员，负责各个介质的视觉设计和合成测试；（6）传播交互渠道负责人，负责传播统筹和用户互动。

3.MR出版制作需要大数据采集与内容生產同步进行

MR出版制作时，制作人员不仅要采集文字、图片和视频，还要采集场景、数据；不仅要出版书面的文字图像，还要呈现该出版物的场景、背景和人物的详细情况。

2014年，全国两会上，人民网记者戴上了谷歌眼镜来帮助自己完成采访工作。谷歌眼镜具有拍照、录音、摄像和传输功能，可以便利地实现前方采访与后方编辑的实时连接。2016年全国两会上， 六个由GoPro拼接而成的360度全景相机极大地拓展了拍摄空间，无死角地记录两会现场的每个细节。此外，Insta360全景相机首次亮相两会现场，这款设备只有一个看似普通的镜头，却可以捕捉高清晰度、超广角图像，并且可以实现实时传输。观众只要转动手机或在手机屏幕中拖拽，即可选择任意视角观看两会的现场情况。这些新技术的应用为MR出版提供了新的内容和数据采集手段。

4.MR出版制作需要数据与场景制作同步

MR出版制作要考虑沉浸感、交互性和多感知性三个方面，并最终达到较好的构想性。在出版素材和数据采集的基础上，MR技术人员进行场景制作、数据挖掘和数据合成，把以往的编辑部变成了大数据工厂。

一个理想的MR出版制作模式是在巨大的出版生产操作空间中，脑指挥中心位于这个平台的中央位置，其他各广播、电视、网络、手机和纸媒等业务部门环绕周围，多媒体记者采写的图、文、音频和视频等出版素材分别归到各自系统，由指挥中心确定稿件的出版价值，并最终决定以一种还是几种媒体形式呈现的方式，转而分发给各自下线业务部门，并分别在下线部门的广播、网络、电视、手机和纸媒等介质平台上对外发布。

例如，《人民日报》在融媒体运行中，借助被称为“中央厨房”的全媒体平台，整合采编资源，打通报纸、杂志、网站、微博和微信等平台，实现各平台内容无缝对接。此外，还有很多媒体打造了H5平台，即集合文字、图片、音乐、视频和链接等多种形式的展示页面，通过丰富的控件、灵活的动画特效、强大的交互应用和数据分析等功能，融入图片、音频和游戏等元素，呈现丰富多样的页面动态效果，给用户带来社交、分享等各种形式的交互体验。

5.MR出版传播需要场景呈现与用户互动同步

MR出版的传播伴随着场景的呈现、大数据的还原，同时也伴随着用户的互动与反馈。MR出版传播通过参与者与虚拟环境的相互作用，并借助用户对所接触事物的感知和认知能力，以全方位地获取环境所蕴含的各种空间信息、逻辑信息和物理信息，进而使用户获得身临其境的沉浸感和人机互动的趣味性，并帮助启发参与者的思维，达到对时空环境的现实构想。endprint

目前，MR的显示方式主要分为四大类别：普通监视器、头盔显示器、手持显示器和空间显示器。当前，MR显示的可行方式是以手持式移动设备终端（如智能手机）为显示工具，并采用视频透过式技术，将图像信息叠加到真实环境中去。手持式移动设备终端显示的优点是可以利用便携的终端设备，例如，人人都有的智能手机，实现增强现实效果。

在各种虚拟现实三维显示系统中，单通道立体投影系统是一种低成本、操作简便、占用空间较小和具有极高性价比的小型半沉浸式虚拟现实显示系统，除了被广泛运用于高等院校和科研院所的虚拟现实实验室中，也具有普通家庭应用的广泛前景。

6.MR出版需要用户交互与用户体验同步

出版是人类认知世界、表现和传播新事物的系统行为。目前，混合现实系统的研究和应用主要偏重于增强现实领域，并且主要在视觉上进行虚实的融合，即在已有的真实环境基础上，为用户提供复合的视觉效果，以扩展人类认知世界的能力。MR出版不仅为人类认知世界提供了新的武器，更为呈现新生事物、传播新生事物提供了前所未有的新载体和新体验。借助AR技术，MR出版用户不仅可以沉浸在出版现场中，还能以多种方式参与出版生产。用户可以基于实地扫描现实物体，随意为其添加增强信息图层，并与他人共享。

MR时代，用户不仅是出版的受众，更成为内容的产销者。MR出版将借助大场景的虚拟环境与真实空间相融合，增强真实感，提高交互性，使用户能够真正融入虚拟环境中，如同面对眼前真实的物体一样，对虚拟物体进行观察和直接、自然地交互。

四、MR出版流程的七个环节

MR出版就是运用混合现实技术进行制作、传播和交互的出版模式。MR出版以四大新兴技术为支撑，即MR场景技术、融媒体平台、大数据处理和全景影像。因此，它是出版的未来形态，具有三大形态特征：场景化、融媒体和交互性。

MR出版的制作实际上就是对场景技术、融媒体平台、大数据处理和全景影像的融合运用，其流程则可以用“五化”来概括：内容场景化、场景数据化、数据可视化、传播交互化和交互体验化。

作为MR出版的代表，MR“魔法报刊”的技术流程，分为七个环节（见图1）：（1）基于混合现实场景技术与平台系统；（2）建立具体的MR场景应用并生成网络链接；（3）提取MR场景素材，进行平面印刷读物的视觉策划与设计；（4）打通平面印刷读物扫描区域与MR系统的链接；（5）平面印刷读物与MR链接的合成、测试及优化；（6）平面印刷读物的印制；（7）借助智能终端应用软件的呈现及互动。

MR“魔法报刊”制作是一种运用混合现实场景（MR）技术对传统平面印刷读物进行改造的方式（新概念報刊），它在外形上采用的是传统平面印刷读物的四色双面印刷。不同之处在于，它在图片中加入了增强现实（AR）场景网络链接和虚拟现实（VR）场景网络链接，一方面由于减少文字量，使得平面印刷读物美观、简洁和具视觉冲击力的特征得到加强；另一方面由于加入增强现实场景链接、虚拟现实场景链接，使交互阅读和沉浸式体验得到加强。该方式使得平面印刷读物的阅读区分成了两部分：一部分是视觉阅读区，另一部分是扫描区。

该方式的设计生产流程不同于传统平面印刷读物，采用了新型MR报纸的设计流程，除了传统报纸的内容策划、视觉设计、版式编排和出版印刷流程，增加了MR场景制作、网络链接扫描区设计和链接合成测试环节。该方式的技术支撑平台不同于传统平面印刷读物，采用了新型MR场景技术支撑平台，除了有传统平面印刷读物的采编技术平台、出版技术平台，还增加了MR技术平台、策划创意平台和统筹运行平台，实现了新技术、新创意和新管理平台的改进与融合。该方式的信息承载和传播方式不同于传统纸媒，采用了新型MR平面印刷读物的信息承载和传播方式，利用纸质平面载体，承载和传播文字、图片信息，增加了利用网络链接和智能终端扫描的音视频、虚拟现实场景和增强现实场景，使得信息承载的内容、形式实现了突破。该方式的阅读体验和交互方式不同于传统平面印刷读物，采用了新型MR平面印刷读物的阅读和交互方式，在传统平面印刷读物的浏览式阅读、欣赏性阅读之外，增加了借助智能终端体验式、交互式深入阅读的功能。

MR“魔法报刊”在示范应用（见图2、图3）中设置了七个扫描区，其中两个“AR扫描区”、五个“VR扫描区”。用户使用iPhone手机或iPad平板电脑，下载“虚实界科技”应用程序，打开程序，对准AR扫描区，即可在屏幕上看到增强现实场景。

MR出版是场景时代、大数据时代和融媒体时代三期叠加背景下，出版与前沿技术融合的产物，也可以被称作融媒体、大数据时代的场景出版。MR出版把人带进一个新奇的世界，而这个世界正是人用智慧和技术创造出来的。endprint