人工智能时代电影后期制作的变革与反思

文/陈坤

人工智能（Artificial Intelligence，简称AI）是第四次工业革命的核心驱动力，已渗透到各行各业，人类进入人工智能时代。AI技术已经得到世界各国的高度重视，并成为新一轮国际竞争的焦点。我国更是制定了《新一代人工智能发展规划》，提出要“牢牢把握人工智能发展的重大历史机遇”，将发展AI上升为国家战略。在这样的背景下，AI技术无疑也将对电影产业产生深远影响，并成为电影后期制作发展的重要引擎。

一、变革：电影后期制作的智能化

电影后期制作的成本高、周期长，存在大量重复性工作，成为制约电影产业发展的瓶颈，迫切需要AI赋能。随着AI图像与声音识别技术的成熟，AI介入电影后期制作成为可能。电影后期制作主要包括剪辑、特效制作与配音等环节，以下具体论述这些环节的智能化变革。

剪辑经历了从胶片时代的机械剪辑到数字化时代的非线性剪辑，现正进入智能化剪辑时代。如21世纪福克斯与IBM合作，用AI系统剪辑出了恐怖片《摩根》的预告片。该AI系统在学习了百余部恐怖电影基础上，分析这些电影的场景、对话与视觉变化等，根据脚本剪辑出了预告片。

对元素的排列组合是AI的强项。AI能对不同镜头进行组合，生成多种方案供人选择。在图像识别技术的基础上，AI可以学习以往经典电影中的剪辑技术，运用计量电影学的方法逐帧分析，根据规律按图索骥。剪辑前需要对前期拍摄的镜头素材进行筛选，工作量巨大，特别是多机位拍摄会产生海量镜头，很难通过人力去逐个回看及筛选，部分精彩镜头易被错过。所以说素材管理是剪辑工作的难点与痛点。AI则能对海量素材进行标记、分类与排序，统计和分析每个镜头，进行批量化管理。AI剪辑系统根据文字剧本与分镜头脚本来初步筛选镜头，快速选择目标镜头，并进行有意义的排列、组合，完成初剪；剪辑人员拿到初剪后的视频，可以通过修改文字剧本，实时修改初剪后的视频。AI帮助人类将大部分时间和精力用于精剪，使人有更多时间去思考、理解电影的情感与意义，从而让剪辑更有温度。目前AI更多被用于电影预告片、集锦与花絮的剪辑。针对不同国家的文化，剪辑多个版本的预告片，或面向观众的个性化需求，剪辑出“千人千面”的预告片，或把电影剪辑为各类短视频，通过推荐算法推送给目标观众，助力电影的精准传播。AI能够提高电影素材的利用率，促进个性化剪辑的发展。AI剪辑系统亦可配合管理部门对电影内容进行审查与分级，特别是引进国外电影时，根据国家相关法规高效地删剪不合规的镜头。

传统电影在特效上需要大量人力投入，工作量巨大，加上制作周期长及专业人才匮乏，导致不少国际知名的电影特效公司也难逃破产厄运。因此国内外都在探索用AI来赋能特效制作。目前，被运用于特效制作的代表性AI算法有卷积神经网络（CNN）、生成对抗网络（GAN）与创意生成网络（CAN）等。其中CNN擅长识别图片的明度、纯度与饱和度，根据图像的特征进行函数拟合及映射，可用于艺术风格图像生成。该算法先提取图像的内容和风格，通过卷积层和池化层进行风格迁移，德国弗莱堡大学的团队利用CNN提取了《星夜》等知名画作的艺术风格，将这些风格迁移到电影《冰河时代》，把名画的色彩、笔触融入每个镜头，创作出有梵高等名画家风格的电影，为电影带来全新的特效风格。特效风格越明显的电影，理论上越容易被AI进行学习与模仿。GAN则可被运用于提高视频的分辨率，把标清视频变为超高清的视频，对受损的单帧图像进行修复与增强，通过补帧、降噪及上色，恢复珍贵的黑白影像资料，或把经典黑白电影以全彩、高清的模式展现给观众。修复被损坏的影像，需对每帧图像进行处理，仅靠人工难以完成。GAN还能用于修复被遮挡的图像，新冠肺炎疫情期间，先让演员戴口罩拍摄，后期通过GAN去除口罩，有利于降低演员感染新冠肺炎病毒的风险。CAN是在GAN的基础上，对损失函数进行修改而产生的有一定创作能力的算法，CAN能模拟人类创作中的随机性，产生更具艺术感的特效，让AI拥有一定创作能力，不再是复制的机器，生成千变万化的图像，形成似与不似之间的技术美学，可应用于制作奇幻风格的场景，为奇观电影的特效制作开辟了新天地。

随着语音识别与自然语言处理技术的发展，AI赋能电影后期配音已经成为现实，只要有足够的声音数据，便可让AI模仿演员的声音进行配音，让已逝明星的声音数据被再次利用，实现“智能化永生”。AI配音主要分为两个阶段，第一阶段的主要任务是制作语音库，首先要确定使用场景、音色与风格，再找演员试音，根据需求设计试音文本，检测配音演员是否合适做语音库，然后进行模型训练及优化。此阶段除了找演员配音，还可以通过AI技术分析现有影视作品中的声音数据，运用声纹识别技术分辨说话人的声音，分离音轨，提取已有的录音，以丰富语音库及训练AI模型。第二阶段需进行语音合成，首先要输入文本，再进行词的切分、语法与语义分析，模拟人类去理解自然语言，让AI明白文本的意义，并给予发音提示，然后进行韵律处理，根据不同场景来分析声音的频率、振幅，模拟音高、音长的细节特征，使合成的声音更自然，最后输出语音，把文本转换为语音。AI配音比真人配音更方便进行后期编辑，让配音有更多可能性，同一段声音可以编辑为不同年龄、不同性别的声音，甚至能在不同语种之间快速转换，特别是对小语种的配音有独特价值，有助于解决小语种配音演员匮乏的难题，还有利于实现同一国家内不同方言的配音，促进方言与电影的深度融合，让电影的配音更加个性化。AI不仅能用于角色的配音，还可以用于环境的配音。一方面，AI在真实环境中收集雷声、雨声、风声与鸟鸣声等，并对环境声进行叠加，增强声音的层次感；另一方面，从已有的影音作品中提取环境声来制作数据库，进行深度学习，然后针对不同场景进行合成，实现精准配音。但是AI配音中情感计算仍是难点，情感表达仍存在不足，目前主要被用于情感变化相对较小的纪录片，而在情绪变化大的剧情片中难以代替人类，对AI配音的情感探索将是电影技术美学研究的重要课题。

二、反思：电影后期制作面临的相关挑战

AI在赋能电影后期制作的同时，也存在潜在的风险，对伦理、人才培养与人机关系等带来多重挑战，需要我们进行相关反思。

AI时代是算法为王的时代，算法被称为“黑匣子”，当算法成为一种隐性的权力，种族和性别等歧视可能会悄然渗入，出现算法偏见、算法霸权等问题，难以保障算法的公平性与透明性，会对伦理带来挑战。在电影后期制作流程中，算法无处不在，如果图像识别算法、剪辑算法、内容筛选与推荐算法中存在对性别或种族的歧视，将导致电影出现伦理问题。目前的深度学习是依靠数据驱动，数据是核心的生产资料，可能导致过度收集数据、违法使用数据的问题，加剧了数据挖掘与隐私保护之间的矛盾。大型影视公司比中小型影视公司拥有更多数据，需要防止大公司垄断某些电影明星的肖像与声音数据，加剧数据资产的贫富悬殊，破坏市场秩序，影响电影产业的生态环境。为了防止数据垄断，电影管理部门可建立大数据平台，汇聚影视数据，把控数据的质量，运用数据增广技术，让数据发挥更大价值，并对数据的使用进行监管及适度共享。当AI换脸与换声的门槛被降低，明星的肖像与声音被反复使用，会带来滥用个人数据的风险。DeepFakes与ZAO催生的深度伪造引起了广泛争议，被指打开了“潘多拉魔盒”，造成对隐私的侵犯。这使我们要反思滥用数据带来的伦理问题，重视对隐私权的保护，加强电影领域的相关立法，防止违规使用明星的肖像与声音数据，特别要警惕在限制类电影中的滥用，保持工具理性。AI技术伦理是人机相处的道德准则，如同控制AI这匹骏马的缰绳，目前人类防范AI伦理问题的能力还较弱，缺乏在电影制作领域建立相关伦理框架，建议成立电影制作领域的AI技术伦理委员会，对电影数据与算法进行审查与监管，进一步提高从业者的伦理素养，倡导科技向善、以人为本的价值观，电影后期制作中的数据与算法伦理研究将成为重要课题。

AI时代，电影后期制作人员面临前所未有的挑战，对从业者的素质提出了新的要求，部分从业者面临技术性失业的危机。AI带来的变革，不仅是技术的变革，更是思维方式的变革。AI对传统的电影教育带来了挑战，笔者调研发现国内不少高校的影视后期制作课的主要内容仍是学习传统的制作软件，与十年前的课程内容相差甚微，缺乏学习与AI有关的内容，对AI的重视程度不够，建议开设AI通识课程，学习编程语言，提高与机器合作的能力。传统电影后期制作人员很多是艺术类专业的毕业生，未来则需要更多科技人才加入电影行业，促进跨学科的合作。弱人工智能时代，AI在跨界融合方面尚存在不足，人类更需要培养跨界融合的能力。笔者采访了北京电影学院陈山教授，他认为：“电影类专业的学生迫切需要提高科学技术素养，国内的电影教育对新技术的重视程度仍不够。”面对AI的挑战，电影类专业的师生都需要转变观念，培养“AI+”思维，包括大数据思维与算法思维，提升AI素养。目前，电影后期制作行业非常缺少电影数据标注与挖掘人员，电影图像标注、语音标注与挖掘都需要同时学习电影知识与AI知识，市场缺乏这类复合型人才，未来电影后期需要更多理工科背景的人才加入，进行跨界合作。在新文科、新工科教育改革的背景下，面向未来培养具有AI素养、有跨学科能力的电影人才势在必行。

海德格尔认为技术“把人连根拔起”，霍金更是告诫人们要警惕AI终结人类文明。AI带来的挑战启迪我们要重新思考人机关系，AI时代的人机关系不应是彼此取代的关系，而应是你中有我、我中有你的关系，在人机协同的基础上构建新型人机关系，共同构建电影后期制作的生态系统。机器可以成为人类的合作伙伴，减轻人类的负担，帮助人类更好地发挥自身的优势，延伸并增强人的智能，但是也要清醒地认识到“机器代人”与“无人化”的风险与挑战。马斯克曾大力推广AI的运用，打造“无人工厂”，但随着生产的不断滞后，导致特斯拉陷入困境，后来他发文承认过度自动化是个错误，使得人类的价值被低估。尤瓦尔·赫拉利认为技术用温水煮青蛙的方式，让多数人沦为“无用阶层”，他提醒人类不要过度依赖AI，更不能贬低人类的智能，倘若人类放弃自我的阵地，将会面临退化的风险。我们也要充分认识到AI的局限性，AI需要人类给予明确的框架，所以要突出人的核心价值，坚持“以人为本”。斯坦福大学李飞飞与约翰·埃齐门第教授建立了“以人为本”AI研究院，倡导AI为人类带来福祉，不是取代人类。我们还需反思人类区别于机器的特质，AI时代人类所从事的工作应有别于机器。电影是供人类品味的精神产品，终究需要人类为其注入灵魂。根据塞尔中文房间实验的启示，AI难以真正理解电影的情感与价值观，故事与情感依然是电影的核心，人类独特的情感、价值观、工匠精神与创造能力是难以被AI替代的。电影后期制作中特效、剪辑与配音还需要带给观众美的体验，这离不开制作人员的美学修养与审美判断。

三、结语

AI正成为电影工业发展的新引擎，引发一场新的电影技术革命，智能化将成为电影后期制作的新常态，催生新的视听语言、美学标准与传播方式。计量电影学的发展，将进一步推动AI在电影后期制作中的应用，AI换声、换脸之于电影后期制作利大于弊，人类将有更多时间聚焦电影的艺术创作部分，电影的艺术性与精神性会进一步得到彰显。我国的AI技术目前处于国际领先地位，同时我国拥有数据优势，有利于训练AI模型。数据与算法正成为我国电影业的宝贵资产，AI为中国电影提供了前所未有的机遇，将进一步完善我国的电影工业体系。我国需高度重视电影数据库的建设，建立电影算力中心与电影算法平台，缩短与世界发达国家的差距，助力中国由电影大国向电影强国迈进。