浅谈人工智能在电影制作中的应用

詹振预

(中影电影数字制作基地有限公司，北京 101400)

2020年春节之际，一场突然来袭的疫情，中国上下万众一心，进行全民抗疫，展现出了伟大祖国的凝聚力、动员力、执行力。在这次战疫中，中国的防控速度、动员速度、基建速度让世界称赞。大量现代科技被应用，远程会诊、远程手术、远程办公、远程会议等需求孕育而生。5G、人工智能等新兴技术的加持，让更先进的病毒检测技术和治疗方案得以被迅速研发和推广应用。

说到人工智能，有不少耳熟能详的产品已经被大家所熟悉，比如谷歌的Alpha GO、微软的“小冰”、百度的“小度”等，这些产品都是在某一领域中身怀绝技，相信大家也已在各种媒体报道中了解到它们的实力。近几年，人工智能技术的火爆发展，已经在各行各业中遍地开花，其中人脸识别技术的应用，可以说是最深入人心的，比如这次疫情中推广的健康码，就用到了人脸识别技术。

人工智能作为一种新技术、新工具，走进大众视野，有人欢喜有人忧。新技术代表着新的生产力，代表着更先进的生产技术和更高的生产效率，它对传统的生产方式造成了重大冲击。

电影从诞生之日起，已有一百多年的历史，她是一个聚文化、艺术、工业、科技等多个行业为一体的高度融合产业。电影经历了从黑白到彩色、从无声到有声、从平面到立体、从小画面到大画面的变革，为电影的健康发展，不断融入新的生命。

电影从剧本到最终上映，经过了拍摄前期、制作后期、发行上映等阶段。人工智能作为一种新技术革命又如何为电影业服务呢？文章不讨论人工智能如何取代人类，而是深入探讨电影生产制作中如何借助人工智能技术，来提升创作的质量和速度。

1人工智能在电影拍摄前期的应用

拍摄前期阶段，主要有剧本编写，角色、场景、故事板设计绘制，动态故事板制作，实景拍摄等环节。一般来说，这些过程大都属于艺术创作的过程，似乎很难利用人工智能来参与到这些环节中，其实恰恰不然，在这个阶段也有许多可以充分利用人工智能新技术来提升效率和效果的地方。

1.1剧本创作环节

剧本是电影的生命源泉，剧本的好坏直接决定了影片的成败，影片是否有故事、有内涵，决定能否让观众获得共鸣。一位剧作家要完成一部优秀的电影剧本创作，首先要通过自身几十年的知识积累和经验学习，并从社会中提取人文、道德等观点见解，通过影片故事传递给社会。

人工智能天生具有强大的学习能力，它可以在短时间完成已有的各类影片的剧本学习，也可以快速学习所需的历史、社会、哲学等学科，学习已有的大部分优秀电影作品。这是普通人根本无法快速完成的学习任务，只能是有选择性地学习。对于人类无法达到的阅读、记忆量，人工智能可以轻松实现。

人工智能既然拥有强大的学习能力，那它能创作出剧本吗？答案是肯定的。下面列举几个人工智能在文学创作方面的例子。2016年，由人工智能创作的小说《电脑写小说的那一天》《你是AI TYPE-S》等多部作品在日本参加了比赛。2017年5月，微软公司开发的人工智能机器人“小冰”，出版了一本诗集《阳光失了玻璃窗》，这是人类历史上第一部由机器人写的诗集。2017年12月，由清华大学研发团队研发的“九歌作诗机器人”在央视《机智过人》栏目中与来自北大、清华的高材生一起接受图灵测试，并通过测试。2017年12月，美国Botnik工作室开发出能与人协作的内容创作工具，它用前7本《哈利波特》小说在人工智能机器人训练之后，写出了引人入胜的新故事，题为《哈利波特与看起来像一堆灰烬》小说，该工作室还推出《复联3：无限战争》的人工智能创作版本。这些人工智能的文学作品在人类看来，有些方面已经非常接近人类的水平，有些还是有一定的差距，但这并不妨碍人类使用人工智能来为我们工作。

人工智能，最大的创新就是具有人脑思维的学习能力，人工智能可以快速学习大量知识，并且对其分类和总结，甚至模仿，可达到极高的相似度。在既有思维模式下，人工智能写出的剧本可以做到非常完美的剧情结构，它的高可靠性，也势必带来了作品本身缺少创新性。但这些作品有其自身的逻辑和超越人类的认知，正好可帮助人类作家进行一些创新指引，是人类作家极好的参考作品和优化器，可以帮助人类创作出更加优秀、创新的作品。作家之所以能成为作家，因为人本身是社会的一份子，具有情感，能理解社会，并提取社会所需去完成一部来源于现实又高于现实的作品。通过作家对人工智能的实际应用，可随时改进、优化人工智能程序，训练其写出更接近于人类可接受的作品。人工智能与人类两者之间交融发展，最终可让观众在银幕上看到更加有突破性的作品，那时候，观众不再会纠结这是谁的作品了。

1.2 设计创作环节

故事剧本创作完成之后，项目就可以开始进行角色、场景、故事板的设计创作阶段，这几项内容均属于艺术创作范畴，一般需要聘请专业团队，组织大量的艺术家进行创作。艺术创作，这并不是人工智能所擅长的，人工智能究竟能为人类艺术家提供什么样的帮助？首先，我们可以利用人工智能强大的学习能力，为我们查找到所需的资料，比如画面、照片、视频，包括已有影片的参考桥段，并对所有的资料进行分类和排序，挑选故事中最适合的参考信息；其次可以利用收集完成的数据资料对人工智能机器人进行训练，受训的机器人将能绘制符合影片故事的角色、场景、故事板等。对于人工智能绘画，也有对应的例子。2018年，在佳士得拍卖会上，成功拍卖了由人工智能进行绘画的作品《爱德蒙·贝拉米的肖像》，最终售价达43.25万美元，与当时同时拍卖的一幅毕加索画作价格相当。若觉得这幅画作太过于抽象，很难适用于电影创作过程，再举另外一个例子，2018年10月，央视《机智过人》节目，现场展示了人工智能中最具艺术细胞的中国画系统“道子”，它学习了齐白石大约几百幅画作风格，学习齐老先生画虾本领，掌握了其形与神，“道子”在现场与青年画家PK画虾，并由齐老先生孙女负责检验，最终现场观众并没有认出哪幅画作是机器人“道子”所作，通过测试。人工智能虽然无法直接取代专业的艺术家，但它作为新兴工具与艺术家互相促进，最终可以提升电影的艺术魅力。

1.3 动态故事板环节

有了故事剧本，角色、场景风格的定调，及故事板的设计完成，后面紧接的是动态故事板环节。动态故事板与静态故事板之间最大的不同就是动态可视化处理，可最大限度地展现出每场戏的镜头、角色、场景的定位，以及角度和运动变化等，甚至可为动态故事板设定颜色、材质、灯光效果、音乐效果及角色对话等，让动态故事板更接近影片成片的效果，使创作团队可以最直观地分析、评价影片的合理性和可行性。动态故事板一般都由电脑模拟完成，实现接近影片成片的动态故事板，从效果上讲是最理想的，但制作成本也是相当庞大的，等于额外制作该影片的动画版本了，在时间和资金成本上都是不被允许的。

人工智能技术的崛起，将助推实现更完美效果的动态故事板，而在资金和时间的投入只会增加较少的成本。在三维场景模拟过程，依靠现有的人工智能技术来完成还有一定的难度，但也不是毫无用处，比如可通过人工智能帮助动画艺术家找到过往影片中相似的镜头，作为制作参考，以达到青出于蓝胜于蓝的镜头效果。在音乐、声效、对白方面的实现，人工智能将大有用武之地，可以避免用传统的制作方法造成的在资金和时间成本上的大量增加。人工智能可通过提供故事内容、场景气氛、情感变化的设定，自主谱写该场景的背景音乐，并可模拟不同乐器，甚至模拟交响乐的效果，让动态故事板有了专属的背景音乐，起到烘托气氛、连贯故事的作用。例如在2015年12月，基于人工智能合成技术的Jukedeck MAKE正式亮相，已经可以完成定制专属歌曲，轻松制作视频音乐，并且可以设定不同风格的曲子，使声音更加多样化、人性化。在声效处理方面，人工智能可收集、分配已有数据库中的效果，也可以从一段自然声音中分析提取得到特定的声效。加入声效后的动态故事板，能带来更好的动态效果。对白部分，基于“语音合成技术(TTS)”已经在日常得到广泛应用，各种人工智能语音机器人已经具备自然语言处理能力，使之能有感情地说话；并可通过人工智能的学习，达到模仿特定演员的讲话效果，通过提供对白文本，生成动态故事板中的角色对白，解决动态故事板一直以来是默片的不足。

通过人工智能处理得到的声音文件，均属于电脑合成处理，暂时可能无法达到最终声音效果，但在动态故事板阶段，已经能够大大提升观看效果，给主创团队在影片创作中提供极大帮助，为影片质量提升发挥重要作用。

1.4 拍摄环节

动态故事板完成以后，即将进入拍摄环节。随着大量电脑后期特效的介入，当代电影拍摄手法也随之创新，一些传统的实景拍摄手法已经很难实现动态故事板所设计的大部分拍摄任务。新技术、新方法不断创新，例如可运用虚拟摄影棚拍摄技术，通过人工智能实时抠像，实时回放或生成虚拟背景，让摄影师在虚拟场景环境中体验实景拍摄的感觉，导演也可以在第一时间确认镜头效果，让拍摄过程不再盲目，镜头效果不再打折扣。还可以应用人工智能+Motion Control技术+GPS遥控定位技术，预定摄影路线，大量上帝视角镜头被轻松拍摄，实现传统拍摄手法根本无法完成的拍摄任务。人工智能除了在拍摄手法上的应用，在硬件设备技术层面，随着技术提升和深化介入，算法快速革新，人工智能技术已经被优先应用在手机摄影系统上。大量人工智能计算被植入到拍摄系统中，可以轻松控制曝光、控制色彩平衡、控制景深，甚至提升画面分辨率、高动态色彩空间、眼控对焦、动态跟踪等先进的算法和技术，被广泛接受，下一步也势必被应用在电影摄影中。数字摄影的大量应用，海量拍摄素材快速产生，如何有效管理这些数据成为一大挑战。DIT部门负责对素材的存储和管理，已是拍摄环节的重要组成部分，运用人工智能技术和机器学习，做到对影片素材的快速分类、组织、汇总，有效科学管理数据，让数据可以被快速梳理和访问，而不至于成为存储中的垃圾数据。人工智能技术已经被深深嵌入到了拍摄环节中，再也离不开。

2人工智能在电影制作后期的应用

影片后期制作阶段，主要有剪辑、特效制作、声音制作、立体制作、DI调色等环节。在整个后期制作阶段，这些环节虽然有一定的先后顺序，但制作过程中大多时候可以交叉、同步进行，以减少影片整体的制作周期。但也会有一定的前后环节牵制，所以说每个环节又都需要提供各自的周期计划表，做到统筹有序。

2.1 影片剪辑环节

随着摄影的数字化，磁盘存储技术取代了传统的胶片、磁带记录方式，使拍摄成本大大降低，也使拍摄过程的多角度、多机位、多遍数的拍摄成为可能，大大提高镜头拍摄的成功率，镜头的多机位变化也成为影片的一大进步。随着拍摄素材的大量倍增，使影片剪辑师不堪重负，在众多素材中找到最合适的素材，成为剪辑中的重要工作。在前期的拍摄素材中，若能通过人工智能的有效管理，也可大大减轻剪辑部门挑选素材的压力。随着技术的快速发展，人工智能参与剪辑的工作也已成为现实。2016年9月，20世纪福克斯公司与IBM合作，运用Waston机器人学习大量的预告片，为其惊悚电影《Morgan》剪辑出了预告片。2017年7月，斯坦福大学也与Adobe公司共同开发出能够自动完成视频剪辑的人工智能程序。国内的智影平台也开发出了基于输入文字自动生成视频的功能。2019年，国庆的庆祝活动报道中，央视新闻的一部分短视频就是由AI剪辑来完成的。人工智能技术在剪辑环节的大量介入，暂时无法完全接替剪辑师的工作，但也给剪辑师提供了一个很好的助手，提高了剪辑师的工作效率和影片的质量。

2.2特效制作环节

无论三维制作还是后期合成，都与电脑技术的发展紧紧联系在一起，也是电脑硬件迅速发展的极大推动者。许多基于图形学算法的研究，都在各种制作软件中得到实现和应用，例如基于碰撞、流体等物理模拟技术，基于光流的光线追踪技术，基于电脑显卡的实时显示技术。人工智能技术也已经在特效制作环节得到多方面应用，例如自动擦除威亚，自动蓝绿背景抠像，甚至是复杂背景的智能抠像，以及现在最火的动态换脸技术，都在生产中得到广泛应用。著名的Nvidia公司开发出基于人工智能算法的超级慢动作系统，可以插值出基于原素材8倍的慢动作效果；中影“神思”基于人工智能的影片修复系统也得到成功应用；基于人工智能的三维模型重建技术，可以快速完成电影拍摄场景的数字化；基于动作捕捉的动画制作技术也将被人工智能技术所替代，可根据镜头语言所表达的情感、思想自主完成三维动画，完成基于人体运动轨迹的人工智能动画模拟。人工智能为电影视觉特效带来的变革还将层出不穷，技术的快速发展，一定会帮助影片创造出更好的视觉效果。

2.3声音制作环节

在动态故事板章节中，详细描述了人工智能在音乐、声效、对白方面的实现可能。现在网络上各种媒体新闻主播，也大量采用了人工智能合成制作技术，大大节省制作时间，提高了新闻的时效性。可见人工智能在声音制作上已经得到了广泛应用。

2.4 立体制作环节

为提升视觉体验，部分影片采用了立体版本发行，立体影片的制作主要有两个途径。一种是通过立体摄影机直接拍摄，实拍的立体素材并不能马上拿来使用，几乎所有的素材都需要进行左右眼的匹配处理，例如颜色匹配、镜头畸变匹配、景深匹配等，校正完成以后的立体素材才能被正常使用。如果通过后期软件传统方法一一处理，将花费巨大的工作量，现在通过人工智能对素材进行自主分析、解算、匹配，大大提高了处理速度和精度，可以使影片得到最完美的立体效果。

另一种是通过转制完成。现在的转制技术，基本还是属于手工转制，由转制人员对每一条镜头每一个物体设定空间位置。也有公司研究用人工智能方法直接全程参与立体转制，但是得到的效果还不太理想，全程的人工智能立体转制处理技术，还有很长的一段路需要走。但如果把人工智能技术应用在转制过程的部分环节上，比如自动ROTO技术、自动深度技术、自动背景图像修复技术等，这将在转制质量不受影响的情况下，提升转制效率，是一种较为可行的方案。

2.5 DI调色环节

一般来说，调色工作都带有较强的个人主观色彩，不同的调色师、导演、摄影指导的参与，往往影片画面风格千差万别。人工智能在DI调色环节上的运用，会不会造成影片的同质化？其实大可放心，人工智能虽然可以完成自主调色过程，整个过程毕竟还有调色师的全程介入参与，影片也就将保留各自的风格。现在人工智能参与的调色主要作用于一级校色中辅助镜头的匹配，随着人工智能的研究深入，人工智能将对特定调色师，特定影片的调色风格进行全方位学习，大大减少调色师的介入时间，提升调色效率。

3 结束语