脑科学赋能电影艺术

荆海洋

电影艺术诞生至今，向以视觉感知来满足观众的精神愉悦。脑科学、计算机等科学技术的发展应用，正促使人工智能深入传统电影制造业。脑科学、工程技术、医学临床技术的协同发展，让“赛博格”式的人，不再只存在于幻想之中。同时，人类对电影艺术的感知开始从视觉感知向神经感知探索。

2024年3月，脑科学领域最负盛名的奖项“大脑奖”（Brain Prize），颁给了三位在脑科学研究领域做出重大贡献的科学家。其中一位获奖者特伦斯·塞诺夫斯基认为，人工智能和神经科学的发展是并行推进的。“人工智能和人类智能之间正在发生一种融合。随着我们对大脑工作方式的了解越来越深入，这将反映在人工智能上。”

当下，科学家对大脑的研究虽然仍处在拓荒期。但是，对大脑神经元网络的研究已经取得了一定成果。医学上，对大脑的人工调控可以有效地控制癫痫发作，可以遏制疯癫与癫狂。科学家可以清晰地识别脑电波，调控介质影响脑部环境。艺术上，以电影艺术为例，脑科学与计算机的结合在技术上满足了导演对于电影视觉空间再造的需求。脑科学与计算机技术的结合发展，实现了对传统电影制作技术的优化。

类脑计算机的图像处理

伴随着人工智能和脑科学的深入发展，尤其是类脑的研究，计算机具有了学习能力。最近两年，人工智能技术的发展日新月异，其对传统电影的挑战涉及产业链方方面面。早几年，应用于影视作品中失德艺人的“换脸技术”已不鲜见。而当下电影业最常被提及的问题便是——未来的电影还需要真人演员吗？

计算机通过换算骨骼、骨点、肌肉之间的关系，利用其中数据，生成合乎人体性能特征的身体。同时，电影工作者希望计算机技术塑造的人体是有真实感的艺术形象、富有真人表情特征的数字形象。目前，人工智能結合动态捕捉、CG技术，已可以在一些电影中代替演员的表演。

20世纪70年代以来，脑科学和计算机技术的结合发展到图像识别领域。以图像识别为背景的动态捕捉技术，最初应用在美国军方实验室中，后来逐渐走进大众视野。动作捕捉（Motion capture），又称动态捕捉，是记录并处理物体动作的技术。动态捕捉技术可以在全时空之下，可以是实时的，也可以是非实时的。同时，它可以捕捉到细微的动态和表情变化。正是源于动作捕捉的可塑性，它一直在被电影导演、艺术家使用。

电影《阿凡达》就使用了动态捕捉技术。导演詹姆斯·卡梅隆构想给片中演员换脸，这也是早期换脸技术的应用——演员的真实面孔被蓝色的外星人面孔所取代。北京邮电大学数字媒体与设计艺术学院院长贾云鹏介绍，“后台计算机通过捕捉，在演员身上装置跟踪点，结合面部图像和跟踪数据，于三维空间中塑造虚拟人物形象。然后，将相应跟踪点的数据一一对应映射到CG角色的三维建模上，CG角色的动作就可以和演员的实际表演完美匹配。”早期的“换脸技术”通过采集模型数据和后期的CG技术，成功应用于电影的人物造型。同时，扫描的信息被计算机加工放大之后，使人物的表情更加细腻。

《阿凡达》等视效大片的制作技术突破，丰富了电影的视觉表达。2018年，《复仇者联盟3：无限战争》上映，“灭霸”打破了现实与未来的界限。漫威通过一系列数据的捕捉、采集，并结合最新的人工智能软件开发了系列艺术形象。电子文献THE AWN在2018年刊登Trevor Hogg文章中介绍，“在这个过程中，演员需要佩戴头盔相机以高帧数的速度收集面部信息，构建角色的三维模型，再将收集的信息分配给模型，并驱动它以生成面部动作。一旦获得了多组数据捕捉样本，程序即可校准数字化的‘灭霸CG模型。”2022年年底，《阿凡达：水之道》上映，团队在真实的水下环境完成大篇幅且更高质量的动作捕捉，让片中CG角色还原真人演员的表情和水中状态（衣服、头发摆动符合重力）。

人工智能通过数据库的分析加工，有效地深度学习，强化了人物的视觉形象。不过，目前人工智能还不能完全展现真人演员的个性及情感。

类脑计算机实现图像的解码与重构

脑科学和计算机技术的结合，将真实的世界数字化、片段化、信息化，并通过编码和迭代的计算机语言，实现电影艺术的媒体化转变。电影的制作技术由传统的电影前期延伸到电影后期，电影场景也从真实的电影场景延伸到虚拟的电影场景。虚拟的电影场景同时突破了时间和空间的限制，自由地在电影中被编辑。电影艺术作为导演精神世界的物化，用脑科学影响下的人工智能技术，从海量场景信息中获取有效信息源，并按检索指令，匹配不同风格的视觉艺术形象，使虚拟现实直接作用于电影制作。

科技与人的关系被现代哲学家重新定义。法国哲学家贝尔纳·斯蒂格勒认为，技术可以成为人的外在器官。某种意义上讲，技术的有效应用，可以促使人类世界由熵向负熵转变。同时，技术通过对人脑的学习，呈现多样形态。在影视界，人工智能可以打破戏里、戏外的界限，CG技术在电影中的应用，搭建了现实和虚拟的桥梁。3D全息实时影像也出现在现实生活中。《银翼杀手2049》在2017年上映，电影主体人物是一个赛博格形象。在电影的分类中，把这一类型的电影称为“赛博朋克”世界。“赛博朋克”世界的场景如同乐高的世界，按着导演的意图任意组合与折叠。可编辑的赛博格形象颠覆了人体形象的框架。赛博格也出现了对于“自我认知”的误读。导演有意强化了两者的矛盾，拥有人类智力和不老之身的赛博格渴求进入人类世界。而今，“脑起搏器”已植入癫痫患者的身体，人类的脑电波实现了计算机的智能调控，“赛博格”开始进入现实人类社会。

脑科学与电影艺术将突破真实界和虚拟界的鸿沟，通过多元媒介，串联自然、人、物。可以想见，在元宇宙的世界中，脑科学既可以勾连我们的肉体，又可以帮助我们在意识中实现精神满足。

赛博格与脑机接口的研究

电影中的赛博格形象。1985年，美国哲学家唐娜·哈拉维发表《赛博格宣言》，此后有关“人机合体”赛博格的讨论便不断地出现在哲学、社会、文化研究学者的文章中。2019年，《阿丽塔：战斗天使》上映，其中的赛博格形象展现了导演对赛博格的认识。《北京青年报》曾报道，“造型师借用计算机的人工智能，仿生了‘阿丽塔的头发、眉毛甚至是皮肤。在导演披露的后期资料中，赛博格形象拥有13万根头发、50万根面部绒毛。在眼睛的设计中，更是用900万个像素来设计一层虹膜。”

如今，AI技术的发展，更是让赛博格们几可乱真。就在最近，一段短视频广告在网上引起轰动，视频中推荐产品的AI广告人，肉眼已看不出与真人区别。4月12日，博纳影业董事长于冬也表示，该公司出品的电影《传说》即将定档，影片运用AI技术还原了27岁的成龙。

“造梦”的脑机接口研究。科学家对脑电波的采集和调控，最初是为了满足脑病患者的需求。在过去的三十年间，脑科学家、医生、工程专家、计算机专家合作，在大脑认知领域取得了新成果——可以通过临床植入“脑起搏器”的方式影响脑电波，有效遏制癫痫和帕金森病人的病情发展，提高脑病患者的生活质量。同时，可穿戴的脑电波采集装置也通过临床在三甲医院推广，实现人工智能与人脑的勾连互动。脑科学家与神经外科专家开始对迷走神经展开研究，并通过神经调控的方式，开展“造梦”实验。未来，突破视觉艺术，观众真正进入神经感知领域欣赏电影，将不是梦。

21世纪以来，脑科学和计算机技术的结合，积极应用到社会发展的各个领域。正如贝尔纳·斯蒂格勒所言：“数字时代，知识不再仅仅被理解为信息的共享和传播。”脑科学之于电影艺术，由电影主题元素，拓展到影响电影的存在形式。脑科学、计算机技术、人工智能……电影持续运用科学技术创造艺术盛宴。由此，电影将以更加宽广宏阔的方式进入我们的生活，不仅满足观众的视觉愉悦，更将带来全新的沉浸式感官体验。

（作者单位：中国广播影视出版社有限公司）