林盈
施瓦辛格有一部系列电影《终结者》,说的是机器人在能力上超过了人类,并且有了自我意识,反过来要统治人類。现实中当然没有那么夸张,但是现在的机器人在很多方面开始接近人类也是一个趋势。如今,机器人已经不满足于从事扫地和儿童早期教育这些重复性劳动了,它们开始准备向文化创意产业发展。机器人写小说已经不是什么稀奇事,这不,北京航空航天大学和清华大学的科学家又开发出了一个能够进行电影剪辑的机器人——你讲故事,它剪视频。
这个机器人的名字叫作“Write-A-Video”。它拍摄和剪辑的范围很广,网络文本、童谣、人物介绍等都可以。
拍摄的第一步当然是要理解文本。Write-A-Video会运用挑选关键词的方法理解文本的含义,然后在它的素材库中挑选合适的素材进行剪辑。比如,当剧本中“汽车”这个词语出现了很多次,Write-A-Video就会认为这个剧本和汽车有关,便会在自己的素材库中查找标签是“汽车”的视频片段。
找到了合适的视频片段之后,Write-A-Video会自己分镜头。当然,它是不能理解视频内容的,但是它可以通过统计画面数据来确定分镜头的位置。常看电影的人都知道一个最基本的规律,在镜头切换的时候,画面的色彩就会出现明显的变化。Write-A-Video就是利用了这个规律,统计出每帧图像的色彩数据,并发现紧邻着的两帧图像,如果它们的色彩数据80%都变化了,Write-A-Video就会认为这里是镜头切换的位置,将视频分割成两个部分。
上面只是计算机视频处理的常规操作,下面才是Write-A-Video大显身手的时刻。这里的主角是一个叫作视觉语义嵌入的程序。这个程序可以比较视频和文字内容的相似程度,并且给它们打分。因为根据标签搜索的视频数量较多,这时就需要视觉语义嵌入程序来判断应该把哪个片段放到最后的影片中。
到底什么样的视频才算是“好看的”,这是审美问题。好在通过大量的机器学习,Write-A-Video已经建立了一套审美标准。首先,画面要明亮,色彩要生动;其次,画面不能抖动得太厉害;最后,画面必须连贯,不能出现跳接。
这样简单的审美要求距离成为一个大师级的电影导演还有很远的距离,目前我们不能指望这样一个机器人通过镜头语言表达什么深刻的思想,但是做一些简单的剪辑工作它还是能够胜任的。比如,制作新闻报道和简单的纪录片,只要能够做到视频和解说内容相呼应,镜头转换自然,就达到了剪辑的要求,而这正是Write-A-Video大显身手的领域。
人工智能最大的优势是处理重复问题时的效率,Write-A-Video也不例外,面对简单重复的任务,它可以把剪辑的时间缩短到原来的几十分之一。比如网剧要换演员,原来演员的镜头都要删掉,这对剪辑师来说是艰巨的考验。然而,有了Write-A-Video,一切就轻松了,因为它可以根据剧本找到演员出现的镜头,然后批量删除,一键解决。
以往人们都认为,机器人即便能代替人类的工作,也只是一些重复性的劳动密集型岗位,对于文化创意这种需要天赋和个性的工作,机器是永远都学不会的。现在看来,大家想得或许太简单了,谁知道哪天它们不会强大起来和导演们抢饭碗呢?