影片数字修复的现状与未来

陈 志

(北京城市学院,北京 100083)

1 老旧胶片的物理修复

陈旧的电影胶片由于年代久远和糟糕的保存环境而失去了原本的面目。胶片自然损伤包括:老化变脆、醋酸综合症、彩色影片褪色、黑白银影像失去光泽、片基形成结晶物、乳剂发粘、胶片结块、片卷无法打开等问题。修复老旧影片首先应当离开恶劣的保存环境,然后开始修复的流程。

初期分为检测和物理修复两阶段。这依赖专业人员手工检测、清洁和修补。在这一阶段,可能需要逐格修补损毁的胶片齿孔,或是黏贴修补已经剥落脱离的影像,将胶片擦拭清洁,去除表面的灰尘霉菌和结晶物。污渍或结晶物处理得越完善,后续进入数字修复阶段就会越顺利。在此修复阶段中,修补的目标是复原原件的样子,并作完整的记录。但如果胶片破烂到无法辨识的状态,则需要维护师做详细的记录,以寻求从不同来源的归档影片中找到相应段落来替换。修复记录表告知冲印厂这部影片哪些地方有何种损毁,期待在送往冲印厂进行翻底拷贝阶段,能够消除和矫正胶片上的这些问题,同时要尽可能还原胶片原始的质感。

1.1 接片台上的物理修复

毋庸置疑,修复应该选用质量最好的原底或发行正片,修复完成之后作尊重原貌的色彩校正。修复工作首先执行检查和记录,将每部影片的现状进行详细的检查和记录。记录的内容包括影片的发布日期、影片规格、影片材质、长度、原本包装、外观性状、是否有引导片；识别声片是磁性材料还是光学材料,光学材料是密度纹还是波形纹等。一般片卷的前后两端由于接触外界环境较多更容易产生变化,修复时可以在片卷前后接装引导片。使用专用胶带将齿孔撕裂处修补结合,整卷影片修补完成之后,清洁片基,再次检查接合状况并做记录。接片台上修复的操作规程如下:

(1)清理工作台。

(2)穿上工作服并带上手套。

(3)取出片卷,置于片盘上,确认影片的编号、片头和片尾、药剂面的朝向。

(4)注明片头并接上引导片。

(5)将接好的引导片牵引至片心,插入沟槽固定胶片。

(6)修补齿孔损毁的胶片,接合片基断裂处。

(7)接上后引导片并且注明片尾。

(8)清洁完成后贴上新胶带,并标识影片编号和长度。

(9)修复过程应当记录,填写修复记录表。

1.2 胶片扫描仪的湿门印制

一些因为胶片缠绕太紧而引起的划痕、擦伤、收缩痕迹以及其它瑕疵是胶片损伤的常见问题。这些划痕大多数都位于背面透明片基,而不是覆盖乳剂形成实际图像的正面。在光学印片过程中,光穿过胶片基底和乳液的途中,片基上的任何划痕、擦伤等都会导致光线弯曲,使得复制拷贝会出现明亮或黑暗的划痕。湿片门技术用特殊研发的液体来掩盖刮痕,湿闸中充满了一种液体,当液体通过时,液体会覆盖片基减少划痕产生的光线折射。高端胶片扫描解决方案的领先供应商DFT 推出的Scanity HDR胶片扫描仪提供最先进的湿闸技术。Scanity HDR 的Wet-Gate携带供胶片贯穿的液体槽。流体罐消除了引入气泡的风险,胶片通过预室进入充满流体的湿闸,通过确保没有空气和灰尘到达的扫描区域,扫描之后,胶片通过干燥装置离开湿闸。而ARRISCAN XT 系统的LED 高功率柔光照明系统可以降低刮痕的可见度,而且光源完全不发热,这对于高度易燃的硝酸盐底片来说非常关键,将现有非常成熟可靠的电影修复技术提升到一个新的层次,让严重毁损的底片能够利用计算机控制的系统逐帧传送。包含湿门印制技术的胶片扫描设备将胶片输出DPX (Digital Picture Exchange)图像文件,以备数字化修复。DPX 文件以线性或对数方式采样,在文件头中注明了采样方式,它可以记录底片上包含的所有有用信息,例如图像对应的胶片片边码、胶片卷号、录像带时间码、录像带号等信息,从而产生一个合适、有效的“数字底片”,用于电影数字后期处理并作为整个制作过程的数字备案。

2 人工智能技术对图像全方位提升

人工智能研究是使计算机来模拟人的某些思维过程和智能行为 (如学习、推理、思考、规划等)的学科。目前人工智能应用研究最广泛的领域之一是机器学习,人工智能可以让计算机通过边缘和形状来理解图像和划痕。卷积神经网络 (CNN)在上世纪70～80年代被提出来,集成芯片在深度学习领域,组织训练这些模型。人工智能技术路线是收集大量的数据,通过数据来训练,比如做图片识别。这实际上是相当于一个拟合的工作,就是有一个多元函数,人们不知道这个函数结构是什么样的,但是从大数据和神经网络的思想,最后拟合出结果,给出一个很好的输出。传统的内容感知算法搜索图像以基于颜色数据相似性,找到要替换的区域,使其匹配图像的其他区域。因为替换的数据是图像中已存在的数据的副本,所以如果算法认为内容提供最佳匹配,则匹配过程可以将存在于该复制数据内的语义无意义数据引入替换。NVIDIA 公司开发的基于AI的图像修补系统InPainting使用一种根本不同的方法来替换图像中的内容。InPainting基于深度学习模型,该模型已经在大规模图像数据集上进行了训练。训练和基于深度学习的算法允许InPainting生成原始图像中可能不存在的新内容。该方法可以将无关的图像信息最小化,而导致更具视觉意义的替换结果。

NVIDIA 公司的NGX 组件是一种新的深度学习动力技术堆栈,可提供基于AI的功能,可直接将图形、照片成像和视频处理加速和增强到应用程序中。NVIDIA NGX 功能利用Tensor Core来最大限度地提高其操作效率。NGX SDK 使开发人员可以轻松地将AI功能与预先训练好的网络集成到他们的应用程序中。新的深度学习技术堆栈,使开发者能够采用预先训练的网络,在应用中集成加速且增强的图形、影像和视频处理。

AI Slow-Mo将插值帧插入到视频流中,以提供平滑、慢动作的视频。应用程序分析要素和对象的帧,并识别对象和相机移动,得以在现有视频帧之间创建新的视频帧。

AI Up-Res可将图像或视频的分辨率提高2倍、4倍或8倍。与延伸现有像素并在它们之间进行过滤的传统过滤方法不同,AI Up-Res通过解释图像并智能地放置数据来创建新像素。这导致更锐利的放大,正确地保持景深和其他艺术特色。NVIDIA驱动程序的NGX SDK 集成到任何游戏、应用程序或插件中,这是AI加速功能的主要代码,它还需要经过训练的神经网络才能运行。NGX SDK 提供了许多RTX 技术、游戏和数字功能的访问,训练有素的深度神经网络 (DNN)包含在驱动程序下载中。这些神经网络可以更新,它们可以变得更加准确和强大,允许这些功能的性能和功能随着时间的推移而发展。NGX 的功能与NVIDIA 驱动程序和硬件紧密耦合,并利用支持RTX 的GPU 中的Tensor Core。

3 修复中的人工智能技术

人工智能用在重复性、特征性比较强的数字影片修复领域,对于几种影片缺陷的识别能力很容易超过人类。

3.1 机器学习和大数据拟合

修复技术方面,人工介入和无人监督的数字电影修复之间的差距可能很快缩小。奥地利格拉茨科技大学计算机图形学与视觉研究所近年的研究项目Deep Restore,是众所周知的DIAMANT-Film Restoration环境中融入人工智能和神经网络领域的第一步。其主要目标是提高精度和恢复效率,基于深度学习模型识别灰尘、污垢和永久性缺陷。在项目的第一年,研究所与科学合作伙伴TU-Graz合作,基于Tensor Flow 技术对各种神经元网络进行快速原型设计。开发者手动创建了大约500个经过验证的基于真实案例的实况样本,用于划痕和细纤的修复。在数学运算和概括的支持下,基于事实构成了10,000个样本代表,按照既定的模型进行大数据拟合,试图修复灰尘和污垢缺陷取得了显著成绩。这项实验成为研究所2019年行动的焦点,以完善实验中仍然存在的一些改进空间,新的基于人工智能的方法将从2020年起可能运用在DIAMANT-Film Suite系统中成为数字修复的过滤工具之一。由于划痕可变性及其与其他物体中的垂直结构的相似性,划痕去除是传统修复最困难和棘手的问题。神经网络首次应用于创建可靠的划痕检测和移除技术。尽管神经网络技术在这里看起来很自然,但是用于划痕识别和检测的神经网络的实现存在许多问题。在选择了适当的深度学习模型并在具有不同类型划痕损坏的镜头上训练模型之后,AI结合现有的基于小波的技术,提供出色的质量改进。

3.2 AI处理垂直划痕

在2017年的AMIA (移动图像媒体协会)会议上,好莱坞技术专家和电影制作人聚集在一起,听取关于恢复、重新制作和存档挑战的演讲。PurePix Images首席执行官Michael Inchalik和乔治亚大学数学教授Alexander Petukhov研究了Algosoft如何开发修复垂直划痕的软件,这是数字修复中最棘手的挑战之一。Inchalik指出数字修复自诞生以来已经走了很远,迪士尼的“白雪公主”的4K 数字版本只有5%的修复工作是机器自动完成的。他指出消费者现在期望的图像没有办法通过人工完全实现,数字修复领域处于经济回报较低的处境,因此商业激励措施不存在。大量的影片需要数百万小时的转换时间,手动执行此操作并不实际。Inchalik提出:使用正确的算法,自动处理可以取代手动修复的95%工作量,并使任何后续修饰更容易。Inchalik声称项目遵守摩尔定律,但速度更快,因为GPU的速度每九个月翻一番。因此,随着时间的推移,工作将变得更加便宜。Algosoft 自动化系统的Combo Filter目前提供自动除尘、锐化、脱色,以及即将推出的AI动力垂直划痕技术。划痕数字化修复在传统上是最难修复的任务,主要是因为有各种各样的划痕,不同的颜色、强度、密度和宽度,划痕也可能是间歇性的,因为划痕的外观和强度即使在相同的长划痕中也会有很大差异。它们也可能与图像中的真实垂直线和边缘混淆,刮擦去除的准确性始终落后于其他修复任务的准确性。提高精度需要运动估计和图像处理,以及包括小波、贝叶斯统计和压缩感知算法在内的新工具,添加到这些功能中的最新工具是基于神经网络的深度学习。

卷积神经网络创建了将图像分成多层的特征图。深度学习应用于垂直划痕恢复提供了快速预测,带来了巨大的效率提升,但缺点是神经网络是“一个黑盒子无法给出他们为什么得到结果的原因。”Inchalik报告中指出,基于80,000个测试图像,AI划痕修复错误率为1.5%,准确度为98%。“把你的划痕发给我们”Petukhov在报告会上表示:“训练数据库中的划痕越多,性能越好。”

4 国内外数字修复软件

国内外公司在此领域进行了较深入的研究,推出了各具特色的影片修复的产品。例如:Digital Vision World公司的Phoenix系统,ARRI公司、DFT公司的胶片扫描设备配备了湿闸印片系统,Pixel-Farm公司的DVO系统,HS-Art公司的DIAMANT-Film 系统,AlgoSoft公司的VIVA 系统,以及“中影·神思”系统。NVIDIA公司、Videogorillas公司致力于利用机器学习、神经网络、视觉分析、物体识别技术,针对数字图像的修改和润饰。基于AI的图像重建已经可以对受损大面积失去像素的图像进行修复。“中影·神思”系统每天可处理上万帧,甚至百万帧图像,相较传统人工每人一周处理一帧的速度,“中影·神思”的工作效率可提高百万倍。中影集团的工程师向观众描述了一个可预见的未来:AI系统未来能研发出根据文学剧本自动生成预览视频的功能。“文学剧本可视化过程中虽然有大量创造性因素,但所有重复性、模式化的部分都可以通过AI完成。当AI系统配套一个足够丰富的数字资产库后 (包括大量场景素材、人物形象素材等),AI便可通过文学描述,帮助创作者搭建模型,之后再根据机位运动调整细节。像 《流浪地球》中一些特别复杂的场景,导演、制片人等主创人员就可以根据预览视频筹备拍摄方案,这个方案可以对整个项目开发筹备提供非常有力的判断依据。

5 关于影片修复的思考

5.1 修旧如旧还是修旧如新

电影是人类的记忆宫殿,宛如一个活化石,它保留了相应年代的影像记忆。记载着当时的自然环境和社会环境,电影不仅仅是跨越时空的影像存在,它还成为文化的载体,成为属于全人类的文化遗产。国际电影资料馆联盟(FIAF)的会员在过去的七十年里,已成功拯救了超过二百万部影片。对老旧影片的理解应当从三个层次来看:首先它是时代的印迹,影像呈现了当时的生活环境,例如当时的服装、建筑是什么样的,生活状态是什么样的等,时光记忆非常真实地被记录下来；第二个层次是动态的记录,人们看到影像开始活动,出现了声音、色彩,出现了人类走动的举止行为。活动影像带来更加逼真和深入的体验；在观众观赏影片的时候,感受到机位、景别、镜头组接,配上音乐,观众看见了主创的艺术创造,这又是一种思维表达和意识形态的传播,此为第三层次。老旧电影是人类最真实的历史记录,作为一种历史记忆和影像文献,让研究者和观众能够温故而知新,鉴往而知未来。

国内外学界试图建立影像保护学的思维,从传统的历史学、人类学、社会学的角度建构影像修复的理论框架。不只是需要技术上的手段,在理论建构方面也需要进一步探讨和延展。世界各地电影资料馆搜集及保存拷贝、记录的影片资料,供大众及下一代研究和欣赏。如何复原早期彩色胶片冲印的样貌? 古董埋藏于地下上百年了,表面和内在发生了一些变化,这种时间的印迹有自己的美感,是否要把它修掉也是值得探讨的问题。如何将不同的源素材组合到一起得到“最真实”的结果? 原始影像数字化“增强”应遵循什么样的尺度? 电影是导演直接监督下的创作成果,或是摄影师捕捉和记录的历史时刻,这个创作过程本身就可以成为值得记忆的文化活动。修复影片重新发布的时候,可以提供与该部影片有关的导演、摄影等工作人员或清楚影片最初原貌的人,作相关典故和记忆的详细访谈,提供影片原始样貌的信息,以期达到最理想的时光再现。电影修复者扮演一个传承的角色,把影像资料修复、保存下去,为后代子孙保留珍贵的历史记忆。

对于文物的诠释工作,在于从古物中挖掘新生命、创造新意义。在老旧影片保护的过程中,应有影片文本考察,由可定义的文化遗产特性判断其收藏价值。从老影片中找到历史的佐证以及对现代潮流与文化现象的反观,产生新的挑战与文化再生的意义。对于电影修复而言,并非越清晰、看上去画质越高越好,那样很容易让画面显得锐利,损失了胶片的质感。重要的是还原最初的样子,尊重原作者的创作意图。色温、色差、光线的明暗都需要研究,把电影的时代背景考虑进去,做一些研究和资料搜集的工作。在文物的保存过程中,最佳的状态可能是处于维持现况的模样。任何事物都难以抵抗时间带来的自然老化现象,那么老旧影片也是包含自然留下的痕迹。从古至今,人们从一些有价值的文化资产或者其他史料中,在溯古鉴今的过程中感受时光的变迁。

5.2 数字化是否是终极解决方案

当前数字技术已经主导媒介领域,数字技术带来的影像创造力惊艳了时代,几乎引领了活动影像的发展。当前的影像存储数字化是主流趋势,人们认为把内容数字化,就是把内容转移至更稳定的载体,高解析度保证了影像资料的全部信息记录,但是数字存储有它难以回避的缺点。数字存储的资料只有在可被顺利诠释,即解码之后才有价值；数字资料的载体也容易面临物理或化学上的耗损,读取资料所需的硬件或软件也会面临淘汰。电影资料馆及博物馆仍坚持保存胶片影片,原因在于胶片的物理和化学本质或许脆弱,它终究属于一种稳定的物料,只要妥善储藏及看管,可以保存数百年,寿命远远超越之后出现的活动影像载体 (例如:录影带)。胶片是目前储存活动影像最理想的媒介,它是现存媒介中一种格式最为统一、国际间最广泛采用的物料,并能保持高解析度。它储存的资料无需定期升级,解析的设备 (放映机)亦不需经常更新。存放在资料馆片库中的胶片素材是构成所有拷贝的原始材料,可依此直接判断拷贝是否完整。数字科技越发达,相关的储存媒介就越容易被更新换代,甚至任意修改内容。而妥善保存的原始影片,则可透过比较,发现不合理的改动或错误使用。无论活动影像科技如何发展,现存的电影拷贝可以让我们直观地了解昔日的社会生活状况。