虚拟现实技术与增强现实技术的应用

马 卫

（北京信息职业技术学院，北京 100018）

虚拟现实技术与增强现实技术的应用

马 卫

（北京信息职业技术学院，北京 100018）

以邓丽君虚拟人演唱会和李谷一与30年前“自己”同台演唱为例，介绍虚拟现实技术、3D全息投影、增强现实技术的特点与应用，揭开明星“复活”之谜。

虚拟影像；虚拟人；虚拟现实技术；动作捕捉；全息投影；增强现实技术

作为一代华人歌坛“天后”邓丽君英年仙逝，始终是“君迷们”心中挥之不去的结。2015年8月8日，上海大舞台迎来了“如果能许一个愿”邓丽君20周年虚拟人纪念演唱会。一曲经典的《甜蜜蜜》后“邓丽君”向观众致意，亦真亦幻，现场观众如痴如醉，有的“君迷”甚至掩面而泣。观众们在讶异之际，不禁要问是什么技术将邓丽君又带回到现实。

无独有偶，2014年湖南卫视的马年春晚现场，歌唱家李谷一与30年前李谷一同台演唱歌曲《乡恋》。

其实，邓丽君的“复活”所用的是虚拟影像重建技术。虚拟影像重建技术目前包括两类：一种是虚拟现实+裸眼3D全息投影技术，应用范例即邓丽君演唱会；另一种是增强现实技术，如歌唱家李谷一与30年前的自己同台演出应用案例。笔者将通过解读虚拟影像重建技术的特点、实际应用案例，为读者解开明星“复活”的神秘面纱。

1 制作邓丽君虚拟人影像的技术分析

俗语说：“画鬼容易画人难”。邓丽君作为华人歌坛现象级的歌手，其形象为广大华人社会所熟悉，要想将她“复活”，的确是一个巨大的挑战。敢于接受这一挑战的是世界知名特效公司数字王国。

利用虚拟影像重建技术实现明星“复活”，需要经历如图1所示的几个技术阶段。

1.1 素材采集

邓丽君在世时留下了数以千计的影像资料，数字王国特效团队从众多的素材中提取有价值的信息。虽然这项工程得到了邓丽君兄长邓长富的大力支持，但是特效团队长期服务于西方文化，在该项目中面临的最大困难是对东方文化的理解，尤其是对“婉约”认知的不足与偏差。邓丽君独有的“婉约”美，是她广受华人社会欢迎的重要原因之一。特效开发团队为此找到了本土设计师罗婷负责从整体上对虚拟邓丽君进行设计把控，因她与邓丽君生前有过接触。她认为，20世纪80年代的歌手打扮都比较传统，但如果全部照搬，那么出来的效果可能会让观众不太容易接受，毕竟现在的观众都是二十岁出头的年轻人。所以形象设计上就定为：白色（或红色）旗袍、亮色淡妆，这样能够将现在时尚文化同中国传统文化结合起来。

特效团队收集到很多邓丽君的演唱细节：“她有很美的牙齿，在演唱时会常常露出来，尤其是在‘yi’这个音。特别是她唱到高音时喉咙会有颤动，嘴唇也可能会有颤动。”这些常人忽略的细节为虚拟邓丽君影像注入了生命力。图2为邓丽君真人照与虚拟出的邓丽君。

1.2 模型重建

任何人物建模最难的就是人脸与毛发。人物面部建模，数字王国有自己的优势。该特效公司拥有获得奥斯卡技术奖的面部表情捕捉系统MOVA。该系统能够捕捉正在表演的演员之高度细致、面貌一致、栩栩如生的网状结构化的面部表情，以供特效师创作具极高质素的人物动画。通过多相机（80个以上）360°全方位拍摄，如图3所示，并配合先进的照明设备，MOVA可以记录演员表演的全部细节。依据获取的大数据，软件创造出该演员面部的高清立体网状结构，重建演员包括小皱纹在内的整张脸，如图4所示，保留表演最细微的部分。特效师利用这张动画脸部，可以制作出演员在不同场景的表情。

另外，为虚拟人模拟真人头发的制作难度同样很大，仅头发的虚拟图像，特效人员就绘制了约15 000幅，并且这些头发还需要模仿人物的动态。

1.3 动作捕捉

动作捕捉（motion capture）技术就是利用计算机系统捕捉演员表演时的表情动作，然后把这些动作表情同步到计算机中的虚拟角色上，使虚拟角色的动作表情与真人无异。从电影《阿凡达》到《霍比特人》三部曲，好莱坞惊世骇俗的狂飙制作，离不开动作捕捉技术的功劳。

随着水稻种类的增多，更多的先进技术的研究与出现对水稻识别工作具有促进作用，其中近红外光谱技术已屡见不鲜。在利用近红外光谱技术时，采取全波段与特征波段两种方法进行模型建立，收集纯度高的杂交水稻光谱数据，随后对其纯度进行鉴定，这种模型测定的准确率极高，据研究表明，可以达到100%的效果。因而，采用这种方法是有效的，与全波段模型相比，特征波段模型的预测精度更高。

因为在建模阶段，人物是静态。通过动作捕捉，可以让虚拟人物动起来。这个阶段可以请歌手模仿邓丽君的动作，捕捉到身体动作（见图5）、姿态（见图6）、表情等数据，从而使虚拟人邓丽君自然逼真。

1.4 虚拟合成

虚拟现实（virtual reality）技术是通过计算机系统生成，能够实时追踪用户多感官（视觉、听觉、触觉、味觉、嗅觉等）信息，用户可以高度浸入这个虚拟实境进行浏览、交互与探查。该技术具有：浸入性、交互性、实时性、构想性的特点。

当完成虚拟邓丽君建模后，就需要将模型导入虚拟现实软件（unity VRPDVS3D等）进行调试、渲染、烘焙、导出。值得一提的是在调试阶段，制作团队还一点点地抠画、修改嘴型，以便让虚拟邓丽君嘴形和声音同步。在渲染阶段，头发的渲染非常不易，100次死机有60次是因为头发渲染失败。

不仅如此，即使在导出阶段，为了达到同当年的邓丽君“声情并茂、形神举止”的一致，特效人员进行了数百个版本虚拟邓丽君的修改。

1.5 全息输出

全息投影技术(front-projected holographic display) 原理是利用干涉和衍射原理记录并再现物体真实的三维图像的记录和再现的技术。该技术首先是利用干涉原理记录物体光波信息，其次是利用衍射原理再现物体光波信息，如图7所示。

3D全息投影技术类似于自然界中的海市蜃楼，通过不同数量的投影机把真实影像或事先经过精心制作并具有立体效果的数字影像均匀对称地投射在成像膜上（这种成像膜是一种透明的超薄膜）。经过光的衍射和折射，再现三维影像。

2 制作李谷一穿越对唱技术解析

李谷一作为知名歌唱家，其形象也广为人知，要完成她与30年前自己虚拟影像的对唱，现实真人与虚拟人对比强烈，同样是一项复杂的工程。承接这一项目的数虎图像公司利用增强现实技术实现真人与虚拟人物跨时空对唱，其技术特点如下。

2.1 真人3D复原

数虎制作团队收集了大量30年前李谷一的影像资料、生活照片、演出剧照等，但当时的影像都是模拟信号、成像质量差。为了获得更好的表现效果，重新为现在的李谷一拍摄了全身照作为参考。后续涉及异常繁重的团队制作与现场调试工作，需要完成包括前期资料收集、建模（见图10）、材质、数据修复等一系列工作。

在动作捕捉阶段，数虎聘请专业演员进行表演动作的捕捉，并按照舞台表演要求进行数据调试修复，见图11。为了真实还原30年前的服装，数虎公司还请李谷一拿出珍藏的当年春晚演出服装，作为布料材质模拟的参考。

舞台角度与灯光渲染是整个虚拟人像跟舞台配合最多的地方。在调试阶段，特效人员在制作软件中虚拟设置了三台与实拍一致的摄像机，以保证实际演出时不出现角度偏差，确保真人与虚拟人的相互配合。

2.2 增强现实表现

增强现实（Augmented Reality）技术就是通过将虚拟仿真系统产生的图像信息合成到真实环境中，使虚拟与现实有机融合。一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的。

2014年湖南卫视春晚李谷一与虚拟“李谷一”完成对唱，所依靠的增强现实技术工作原理如下：虚拟李谷一（30年前影像）是通过运用二维码类的标记来定位，摄像头捕捉到标记图像后由软件计算出内容来实现真人与虚拟人的互动。直播中至少运用了以下几个基本设备。

（1）标记点，用于图像识别。

（2）捕捉标记图案的摄像头，摄像头可能就在标记点的上方。

（3）计算机综合系统，主要包括四部分：摄像机运动的传感器跟踪系统；生成与摄像机运动相匹配的虚拟前景渲染系统；切换台及背景视频延时器；将前景和背景无缝合成的色键系统，如图13所示。

晚会现场摄像头拍摄现实场景，并通过计算机追踪技术捕获标记，实时记录其位置和方向，将虚拟的李谷一影像叠加到该位置，构成虚实融合的景象，从而实现了李谷一同30年前的自己穿越时空对唱《乡恋》的奇观，见图14。

3 虚拟影像技术发展的思考

虚拟影像技术的快速发展，为观众带来了影像奇观与特殊的视听享受，丰富发展了舞台演艺市场。但是，虚拟影像技术在舞台演艺领域的应用也存在一些问题，主要表现在以下三个方面。其一，技术亟需完善，3D全息成像并不能实现虚拟演员360°全方位立体逼真呈现，增强现实技术呈现的虚拟人像，现场观众裸眼无法看到。虚拟演员活动范围有限，无法同观众互动。其二，相关法律不完善，虚拟影像也涉及到肖像版权问题，相关法律目前还是空白。其三，制作成本昂贵。目前，国内掌握虚拟人技术的有数虎图像、诺华视创等企业，但制作成本较高。据介绍，虚拟邓丽君台北演唱会的制作成本就高达1 500万美元。

当然，笔者认为，一方面，随着虚拟现实技术与增强现实技术的不断融合发展，虚拟影像技术会愈加完善；另一方面，随着国民收入的增长，文化娱乐消费会逐年增长。因此，未来虚拟人演艺市场有着巨大的发展空间与商机，有志于此的创新企业可以及早谋划，拓展相关市场。

注：文中部分照片来自网站。

[1] 张帆. 数字时代的表演艺术[J]. 北京电影学院学报,2010(3)∶85-93.

[2] 丁莉. 人造生命力：数字时代CG虚拟角色的创作[J]. 当代电影,2010(11)∶114-119.

[3] 黄仲山. 反思数字虚拟角色对传统表演艺术体系的影响[J]. 四川戏剧,2012( 6)∶147-149.

[4 ]韩飞. 邓丽君与周杰伦隔空对唱——特效工程师网上撰文揭秘制作始末[N]. 扬子晚报,2013-09-10.

[5] 搜狐资讯. 湖南台春晚：数虎3D复原让李谷一遇见“李谷一”[OL]. http∶//roll.sohu.com/20140124/n394145895.shtml ,2014-1-24.

马卫，1970年生，毕业于中国传媒大学，获硕士学位，现为北京信息职业技术学院数字媒体与艺术系副教授，主要研究领域：虚拟现实、影视制作。

（编辑 杜 青）

The Application of Virtual Reality Technology and Augmented Reality Technology

MA Wei
(Beijing Information Technology College, Beijing 100018, China)

Taking the virtual human of Teresa Deng concert and Li Gu Yi singing together ‘own’ in 30 years ago as examples, the characteristics and application of virtual reality technology, 3D front-projected holographic display, augmented reality technology was introduced, thus attempted to discover the mystery star ‘Resurrection’.

virtual image; virtual human; virtual reality technology; motion capture; front-projected holographic display; augmented reality technology

10.3969/j.issn.1674-8239.2016.01.010