人工智能续创贝多芬《第十交响曲》带给我们的启示

2022-04-19 03:55韩宝强中国音乐学院北京100012

南京艺术学院学报(音乐与表演) 2022年1期

韩宝强（中国音乐学院，北京 100012）

引子不同寻常的贝多芬诞辰纪念日

2021年10月9日注定将成为人工智能音乐发展史上一个重要时间节点，就在这一天，就在贝多芬的出生地——波恩，由贝多芬管弦乐团在当地的德国电信会议大厅演奏了用人工智能续创的贝多芬《第十交响曲》第三、四乐章（为简便起见以下皆用英文缩写AI代替人工智能），以纪念贝多芬250周年诞辰。德国前总理施罗德携夫人到场观演，德国《镜报》的标题非常吸引人：“今晚复活的贝多芬栩栩如生。”

其实这并不是第一次复活贝多芬《第十交响曲》。早在1988年，英国伦敦就曾上演过贝多芬《第十交响曲》第一乐章，始作俑者为英国著名音乐学者、贝多芬研究专家柏瑞·库珀（Barry Cooper）。他以搜集到的250小节贝多芬乐谱草稿为蓝本，经过仔细研究、精心编创，于1988年完成了《第十交响曲》第一乐章的总谱。然而这项工作在当时并未引起太多的关注。

用AI技术续创贝多芬《第十交响曲》的想法出自卡拉扬研究所所长罗德博士（M. Röder），他也是世界知名的音乐科技活动的组织、推动者。其想法一经提出便获得德国电信公司在资金和传媒方面的全力支持。2019年初，罗德组成了一只近百人的跨国AI音乐研究团队，其中最重要的两位人物，一位是来自美国罗格斯大学艺术与人工智能实验室的艾尔噶莫（A.Elgammal）教授，他主要负责用贝多芬音乐来训练并构建AI神经网络系统，再从中生成所需的贝多芬音乐片段。另一位是著名奥地利作曲家沃尔佐瓦（ W.Werzowa），他负责从AI生成的音乐素材中选择最适合的片段用来合成最终的作品。备受瞩目的AI作品在波恩上演后，又于2021年10月27日在德国汉堡著名的易北河音乐厅重演，德国电信通过旗下有线电视和网络音乐平台对每次演出都做了线上直播。

笔者之所以关注此次续创贝多芬项目，首先是出于从事音乐科技教育的职业敏感，当今音乐科技知识的更新周期越来越短，续创贝多芬项目作为AI音乐研究的绝佳案例当然值得我们全神贯注。此外，恰好在罗德团队项目进行的同时笔者受邀参与了国内一个相类似的研发项目。通过学习研究本次贝多芬音乐的续创过程，笔者收获良多，也得到一些启示，愿在此抛砖引玉与大家分享。

一、全新的研究模式

此次AI续创贝多芬交响曲项目采用的模式非常有特点，归纳起来就是：依托研究型机构，由跨学科人才主持项目；以结果为导向，追求音乐的完美；学术研究与传媒产业相结合，实现利益共赢。

在此之前的AI音乐研发模式大致可分两类，一类是完全由技术公司主导，突出算法工程师的作用，推出的成果具有很强的技术内涵，其典型代表是索尼公司的DeepBach。另一类名义上由技术公司主导，但音乐生成部分的主导者为音乐家。这一类的典型代表是我国华为公司推出的AI续创舒伯特《未完成交响曲》第三、四乐章。罗德博士团队此次采用的是音乐家与AI专家深度融合研发模式。除了前面提到的艾尔噶莫和沃尔佐瓦两位关键人物外，项目组还专门聘请了美国康奈尔大学计算音乐学专家高特姆（M. Gotham），由他负责贝多芬那些非常潦草的乐谱草稿识别工作、以及AI生成的乐谱编辑合成工作。另外聘请了美国哈佛大学古谱研究专家兼钢琴演奏家莱文教授（R. D. Levin），负责校订贝多芬乐谱手稿，同时担任钢琴试奏，通过弹奏AI生成的乐谱，让深谙贝多芬风格的专家审定AI生成的音乐是否符合贝多芬音乐风格。为使团队内部人员有充分的了解和学术交流，项目组还进行了两次大规模集结活动，第一次于2019年6月在美国哈佛大学音乐图书馆，召开了为期两天的学术研讨会。第二次于2019年11月在德国波恩贝多芬故居博物馆，团队一起聆听莱文教授用钢琴弹奏的人工智能生成的音乐，并分辨贝多芬原创音乐与AI生成音乐之间的区别。

到目前为止，罗德团队尚未发表本次科研工作的流程细节和技术内核，仅从一些项目参与者对媒体披露的情况看，整个项目的规模和人员配备应该是有史以来最强。

二、AI交响音乐技术的复杂性超乎想象

罗德团队的研究对全球AI音乐发展无疑具有里程碑意义，但能否产生如当年AlphaGo的轰动效应尚难预料。2016年，当谷歌的围棋对弈程序AlphaGo以五局四胜战绩打败世界围棋冠军李世石后，世界为之一震。当AlphaGo Zero以100比0又打败AlphaGo后，全球对AI的能量已深信不疑。人们自然也想把AlphaGo的神奇复制到音乐领域，从计算能力角度看，相较于下盘围棋，创作一首乐曲所需的算力几乎可以忽略不计。乐观的学者预测计算机深度学习技术将很快能生成具有个性化的音乐作品。然而通过对罗德团队项目的追踪以及本人所参与的项目情况来看，上述的预测过于乐观了。

首先更正一个概念，就是音乐和围棋二者在目标模式和评价体系上有着本质区别。围棋属于对弈游戏，机器只要在算力上超过人类就能稳获胜局，而作曲是一个追求超越自我的过程，永远没有胜者。今天AlphaGo Zero因找不到对手而无须再升级，但作曲家们依然在不断更新既有“算法”，寻找突破自己的途径。在评价体系方面，围棋比赛有严格的客观标准，达标即赢，而音乐比赛没有客观指标，常言“文无第一，武无第二”恰好可用在这里。另外，音乐的复杂度并不比围棋低，单就乐音的基本属性，除音高外，乐音还有音长（影响音乐节奏和速度）、音强（影响音响强弱变化）、音色（影响管弦乐配器）三大要素。如再把声像、混响等空间声学因素也包含进去，那么用机器从无到有生成一部音乐作品绝非如想象的那么简单。

目前可提供“端到端”（End to End）音乐生成服务的系统确实可以瞬间生成一首乐曲，然而都带有固定化格式的风格，或许仅能满足低端视频配乐需求，距离生成带有个性特征的作品还很遥远，更谈不上交响化音乐。罗德团队用了两年多时间、近百人参与研发，AI计算所耗费的计算资源想必也不会少，最后才生成总计不到50分钟的交响作品，充分说明AI生成交响乐作品的难度和复杂性。

顺便讲，AI音乐技术的终极难点应该是AI自动配器，在此次罗德团队提供的贝多芬《第十交响曲》总谱上，版权位置写着：“作曲/编曲：Beethoven AI，Walter Werzowa（沃尔佐瓦）；配器：Reinhard Sumerer 。由此看出，最终作品还是由人工完成。

图1.贝多芬第十交响曲乐谱手稿与修订稿比较（照片提供：德国电信公司）

三、如何评价AI音乐作品？

近年来因一直追踪AI音乐的发展，自然关心媒体与此有关的评论文章。几年下来总体上感觉比较失望，因为基本看不到有水准的评论，想必与AI音乐的特殊性有关。传统意义上对交响乐的评论一般将重点放在作品本身的技术特征上，并将其与作曲家的创作理念和个性风格等因素联系起来。当你面对一部由机器完成的作品，且这部作品中或许填满其他作曲家的音符时，评论家可能真不知从何切入来描述作品的特征：是AI技术的前沿性？还是作曲技术的复杂性？抑或二者融合的完美性？至于对AI音乐创作者的评论则更为困难，抛开著作权问题，假设罗德团队就是创作主体，从最初的手稿研究、数据学习、神经网络构建、算法调试、MIDI乐谱输出、试奏视听直至生成乐队总谱，参与者众多，每个环节都直接影响着最终作品的质量，若要评论这个创作主体，就必须涵盖每位研究者的工作才行，毫无疑问只有全才型的评论家才能完成这项任务。

困难同样发生在这次贝多芬续创项目上，或许因为距离演出结束时间不久的缘故，到目前为止，笔者尚无法从任何专业性媒体、杂志上发现对此次续创工作的专题评论，但在网络中还能看到很多人发表的听后感。譬如在名为“现代录音制品”（Modern Recordings）的网络播放平台有多达百余位听众对这部AI音乐作品的评论，看后总体上感觉很多听众对AI音乐的兴趣非常浓厚。因篇幅关系，这里只选两位较有代表性的评论摘要如下。

听众Fred Feinberg:

我感觉这个作品过多使用了贝多芬《第五交响曲》来训练人工智能。通常情况下人工智能需要更多的数据训练才能成功，但贝多芬的交响乐作品数量相对太少，除非能将贝多芬同时期的其他作品，如弦乐四重奏也融入其中。毫无疑问这是令人着迷和令人印象深刻的尝试。

听众Henk Douwes:

听起来绝对是“贝多芬式的”。对整个过程而言，我更想知道团队如何让机器根据贝多芬的草稿进行创作的，整个过程是否都由人工智能系统来决定？单就音乐而言，听起来很像对贝多芬之前作品的低级翻版，其中明显有《第五交响曲》谐谑乐章的痕迹，听起来很刺耳。其实完全可以学习第七、第八或第九《交响曲》的谐谑乐章。即使留存的乐谱草稿确实有贝多芬之前音乐的影子，也不意味着作品就应发展成目前的样子。天才的贝多芬能容忍这种平庸的“翻唱”吗？

从第一位听众的评论中我们可感觉此人不仅懂得AI音乐生成原理，同时也很熟悉贝多芬作品的整体情况，评价语言既中肯又理性。而第二位听众则颇具“贝多芬粉丝”色彩，对AI充满好奇，但又对生成的作品表达出强烈不满，用词激烈，却也不乏真知灼见。看完众多网民的评论笔者得到这样的启示：对一种全新的音乐形式而言，真正有见地的评论很可能不是来自传统意义上的评论家，而是真正喜爱这种音乐的普通听众。从这个意义上讲，当我们无法从专业媒体得到有价值的信息时不妨把目光投向大众网络空间。

四、AI音乐人才培养的困境

纵观罗德团队成员基本由三个专业构成：计算机科学、作曲和音乐科技，里面没有一位AI音乐专业人才，甚至也没有AI专业人才，原因很简单，这两个专业都处于培育阶段，几乎没有正牌的毕业生。罗德团队中艾尔噶莫教授领导的艺术与人工智能实验室，从发表论文看绝大部分人员研究方向都在AI图像识别领域，基本与AI音乐无关。人才短缺问题能否在数年后就能得到解决呢？笔者对此也不乐观，直白讲主要原因就是学习AI音乐专业的性价比太低，很难吸引足够多的年轻人投身于此。尽管目前国内本科学历教育中还没设立AI音乐专业方向，但我们可以设想报考此专业所需的基本条件：音乐上至少要能熟练演奏一件乐器，这意味着至少要投入两年以上、每天数小时的乐器学习时间和相应的资金。文化成绩至少达到考入一本线的水平，且数学成绩要求比较高。要想达到上述条件，所投入的资金和时间肯定要多于其他专业。然而在报酬方面，国内AI音乐岗位的薪资水平并不比其他AI岗位高，有时还会因AI音乐市场效益不佳而低于平均薪资水平。对这种投入高产出低的专业，或许只有AI音乐发烧友才会报考。然而一个专业的存在仅凭为数不多的热情少年是难以支撑的，更遑论专业水平的提高和发展呢？由此来看，AI音乐专业人才的培养若不从根本上解决低性价比的问题，将很难走出人才短缺的困境。

五、AI音乐的发展方向的选择

本次德国电信投入巨资支持AI续创贝多芬交响乐，让我们看到资金对AI音乐发展起到的直接推动作用，也让笔者联想到AI音乐发展方向问题。目前AI技术发展最为先进的领域是图像识别，原因很简单，因为应用场景广泛，投入资金能够获得优良效益，故而能走上一条良性发展道路。其实在音乐领域也有良性发展的案例，就是以数字音色合成技术为基础的音乐制作专业。数字音色合成技术起源于美国贝尔实验室，最初只是作为马修斯（M.Mathews）工程师的业余爱好，但日本YAMAHA公司看到了它的广阔应用前景，买下专利后不断进行技术优化，并积极向产业化方向发展，最终使之成为当今所有音乐创作和演出领域必不可少的技术装备。马修斯的发明距今不过70年，但由于方向正确今天已发展成音乐领域的一棵参天大树，不仅形成产业，同时也成为所有音乐学院的重要课程之一。反观AI音乐，若以其前身算法音乐（Algorithm Music）作为源头，其历史甚至早于数字音色合成技术，只是因为发展方向不明，至今还停留在孵化阶段。

那么AI音乐应该向哪个方向发展？笔者认为最佳选择是社会音乐教育，首先，社会音乐教育涵盖范围从儿童直到老年人，具有广阔的发展前景。第二，音乐教育领域有很多重复性劳动，从音乐基础理论学习到日复一日的乐器训练，这些场景非常适合AI 技术发挥长处。凡有广阔应用场景的产业自然能吸引投资者参与，有了资金支持才能吸引更多年轻人加入，AI音乐技术才能快速提升，从而使整个AI音乐进入良性发展轨道。

结语

相较于其他艺术门类，音乐对新技术、新工具的喜爱或许可用“义无反顾”来形容。从贝多芬诞生到今天的短短的251年时间里，音乐技术的更新换代有目共睹。从各种作曲技法的演进到音乐制作技术的突破，从乐器音质的优化到计算机软硬件的迭代，每个音乐人都在主动或被动地接受着现代科技的洗礼。音乐发展历史告诉我们，新技术和新工具的使用往往孕育着全新音乐理念和音乐风格诞生，作为21世纪前沿科技的代表，AI技术又将给音乐艺术带来何种改变？让我们拭目以待！