虚拟主播在应急气象影视节目制作中的应用探讨

白秀梅，徐世民

（1.黑龙江省气象服务中心，黑龙江 哈尔滨150036;2.牡丹江市气象局，黑龙江 牡丹江 157000）

1 虚拟主播

AI虚拟主播可定义为，在互联网时代，结合人工智能与三维虚拟形象技术，并可自主承担策划、编辑、制作、导播、主持等一系列工作的主播。是一个由计算机虚拟合成的、高度逼真的3D虚拟形象。

2018年搜狗和新华社联合推出了全球首个AI合成主播。2018年5月，虚拟主持人“康晓辉”有着与真人相似的外形，不仅与央视记者江凯一同主持了《直播长江》安徽篇，还在现场进行了实时互动。“康晓辉”的一大亮点就在于其背后的3D虚拟形象自动生成技术（PTA），该技术让人们摆脱了3D虚拟形象定制所需的高昂成本，只需普通摄像头和一张自拍，就可实时生成与自己相似且更美观的3D虚拟形象。

2019年春晚AI虚拟主持人团队诞生，在这套AI虚拟主播的方案中，只需输入一段既有的新闻文本，主播就可实时进行播报，且发音与唇形、面部表情等也完全吻合。

2 AI虚拟主播的实现方式

AI虚拟主播的实现方式大致可分为三种：

(1)“真人操作”模式，这一模式灵感来源于影视业，需要配套真人演绎，前期需要进行大量的数据采集，中期需要动捕设备来配合播报，后期需要对视频制作进行再加工。从前期准备到后期制作，成本耗费不高，该模式目前仅限于一些大媒体。

(2)“AR+AI”模式，灵感来源于全息投影，实现方式依赖于增强现实技术。这一模式，需要提前设置好AI虚拟主播的回答、动作、表情等，并通过其与真人主播的互动，来制造真实感。且因为AI虚拟主播是后期做上去的，所以现场真人主持与其互动时，就要靠“演”。但这种实现方式，对真人主持的要求极高，对后期制作的要求也很高，从应用层面来看，要大范围推广非常难。

(3)全AI化模式，灵感来源于早期主持人，实现方式和效果却比早期主持人好很多。这一模式分成定制AI虚拟主播和使用视频制作后台两步，其将上述两种方式中“人”的成分大大剔除，专注于用AI来替代人力，将虚拟主播的语音、情绪、动作，乃至后期视频制作需要的图片、视频等都集成到后台编辑系统中。目前来看，它是更接近全自动化，也更节省制作成本、提升制作效率的方式。

2.1 AI虚拟主播的形象设计

全动态3D虚拟形象生成——PTA技术，即photo－to－avatar技术，只需要在智能手机中导入1张人脸照片，即可自动生成一个全动态3D虚拟形象。P2A技术通过深度学习算法，利用了人脸的先验知识，即使只是看到一个人的照片，也可以想象出这个人的长相及三维特征，全自动构建出与照片中人脸高度匹配的全动态3D虚拟形象。虚拟形象五官与照片人物高度匹配，用户还可自定义衣服、饰品、背景、光线等效果，创建过程简单快速，生成的3D虚拟形象能被实时人脸表情跟踪SDK所驱动。更重要的是，这种解决方案并不需要依赖于深度传感摄像头，普通的智能手机摄像镜头就能完成。

AI虚拟主播的技术核心是语音动画合成技术（STA），只要输入文字或语音，就可以生成具备精确发音口型的虚拟主播播报视频。在这一基础上，为了让虚拟主播们有更加丰富的表现力，从人物造型、声音风格、表情情绪、肢体动作等细节，都给到更多表达的可能性，丰富人物的表现力。

90＋常用肢体动作、17种人物音色、8种表情情绪、多元化人物造型，编辑们在后台输入文字内容时，只需再点击选择所需的音色、情绪、动作，就可以智能输出视频。

科技的发展使得语音识别和自然语言处理的准确率都达到了97%以上，从而使虚拟主播达到了与真人主持一样的口才。

2.2 实时驱动虚拟形象生成视频

让虚拟人物播报呈现出自然状态，就必须解决口型匹配、表情匹配，乃至肢体动作匹配等问题。

虚拟主持人“康晓辉”在播报内容的过程中，能做出和真人一样的口型、表情等变化，头部也能做出点头、摇头等一系列动作，这些并不是提前做好的动画，而是可以实时操控的。这个实时驱动就是通过虚拟形象驱动技术实现的。

实时人脸表情跟踪SDK能够精确捕捉近50个面部肌肉运动节点，将面部表情同步至虚拟形象的面部上，从而实现人脸实时驱动虚拟形象。

在视频生成效率上，在目前最新研发的GPU方案下，最快可实现1：1的视频生成效率，即生成3 min的播报新闻，只需要3 min的渲染时间就能完成。所以在突发气象灾害的场合，AI虚拟主播也能快速应对，快速生成视频、稳定输出内容、准确播报不出错。

随后将阴睛雨雪等气象符号和各种预警信号加在画面中，并且让AI虚拟气象主播与刮风下雨、鹅毛大雪、秋风扫落叶、春暖花开等自然景观融为一体。通过AI虚拟气象主播的丰富的表情、多样的动作和精彩的配音让市民在观看时对天气现象会有一个更加形象和深刻的认识，同时也更有利于气象科普知识的宣传。

3 AI虚拟气象主播的特点和未来发展

一个优秀的虚拟气象主播具有以下特点：

（1）时效性强，可以根据各类气象信息快速制作视频，在5－10 min内制作完成气象影视节目，做到了快、稳、准。

（2）可24 h播报，保证节目稳定性及应急需求。

（3）具有丰富的面部表情和肢体语言，使天气预报生动、有趣。

（4）能把天气预报中重要的内容夸张地表现出来，给观众留下深刻的印象。非常有利于预警信号的发布和气象科普知识的宣传。

（5）生成的气象影视节目数据量小，大大节省了存储空间，对网络带宽要求很低，通过网络传输到电视台的速度很快。每年节省大量网费。

（6）与标准的虚拟主持人相比，节省了大量成本，制作效率大幅提升。