人工智能对中国音乐产业链的渗透与革新*

■ 王 铉 雷沁颖

随着大数据的爆发、计算机计算能力呈指数级地增长,以及人们对机器学习和神经网络研究的深入,“人工智能”(ArtificialIntelligence,后文称AI)再一次以更强势的姿态进入人类视野。20世纪50年代起就有科学家、数学家和哲学家提出“AI”的概念,艾伦·麦席森·图灵(Alan MathisonTuring)发表了第一篇相关论文《Machinery and Intelligence》,并引起广泛的注意,被后人称为“人工智能之父”。受制于当时计算机的存储能力和高昂的成本,直到90年代,AI才再次兴盛发芽。世界围棋冠军Gary Kasparov在围棋赛中输给了IBM的DeepBlue(深蓝),DragonSystem开发的语音识别软件应用于Window系统这两件事成为这个时间段重要的节点。如今我们已经生活在“大数据”+“计算机计算能力指数级增长”的时代,AI已迅速蔓延到机器人、银行、市场、医药、自动驾驶、娱乐等各个领域。2019年7月28日,剑桥大学发布了2019年度AI发展报告①,涵盖了AI研究、人才、产业等多方面内容,在包括引言和结论的八个章节中,有一章专门介绍了中国AI技术的发展,表明在世界范围内中国人工智能技术在整体的发展上已有较大影响力。

中国人工智能在近年来的飞速发展毫无疑问也直接影响到中国音乐产业的发展。近年来,中国音乐产业保持稳健增长,也日益成为拉动中国泛娱乐消费经济的重要力量。2015年发布的《国家新闻出版广电总局关于大力推进我国音乐产业发展的若干意见》②中指出,音乐产业因其产业链长、关联产业多、渗透力强,在文化产业中居于重要地位,发展空间和市场潜力巨大。如图1所示,遵照音乐产业发展特性,中国音乐产业又可化分为核心层、关联层及拓展层,除音乐创作为核心动力源以外,其中核心层包括数字音乐、音乐版权经纪与管理、音乐图书与实体音像、音乐演出等；关联层及拓展层包括音乐科技与装备、音乐教育培训、国家音乐产业聚集区、音乐评奖和排行榜等。

图1中国音乐产业构架

人工智能的出现首先对构建起整个音乐产业核心动力的音乐创作模式本身进行了探索,并在中国音乐横向纵向产业链及不同层面产生了一定的影响,如对流媒体数字音乐传播“个性化”的推动、对音乐教育培训方式的助力、以及对音响设备及乐器制造等音乐科技装备的升级等。

一、人工智能探索音乐创作新模式

人工智能参与到音乐创作中,包含两个主要模式:AI音乐生成技术以及歌声合成技术,参见图2。伴随着人工智能高速发展和应用,AI音乐创作的深度学习和神经网络研究已在国外逐渐成熟,并有大量相关平台已经投入市场。在中国,从互联网音乐公司到创业公司,AI音乐创作正以迅雷不及掩耳之势的速度进入中国音乐产业。

图2目前AI音乐创作使用的主要技术

AI作曲(音乐生成)是机器在多层神经网络的深度学习中逐渐“学习”音乐创作的过程。1974年,Rader系统的出现应该是带有AI方式的作曲系统真正的开始,也许跟现在意义上的AI有所不同,但其运用了AI中可运用规则的部分,使得机器根据旋律和和声生成的规则进行权衡,并且对音符与和声搭配的合适比重进行选择。此后随着对音乐生成系统研究的不断深入,出现了可完成自动低音和声生成的SNOBOL系统以及可用来生成巴赫风格和声的CHORAL系统。1993年,出现了具有里程碑意义的运用神经网络学习模式进行和声生成的MUSACT系统和运用神经网络和“限制满意度技术”相结合方式可根据旋律进行巴洛克风格和声生成的HARMONET系统。③这些都是现代AI作曲系统的先祖。当今AI作曲系统的开发大多从谷歌的Magenta开源代码开始生长发芽。Magenta是谷歌开发的用TensorFlow机器引擎学习的一种人工智能,该项目旨在开发AI技术创作出音乐以及其他艺术形式。此后,国外AI音乐生成的平台林立而起。目前,国外较为成熟的AI音乐生成平台包括Amper、Jukedeck、Musical.ai、Humtap、AIVA等。目前在国内,由微软(亚洲)互联网工程院人工智能创造力团队负责研发的AI音乐技术,已经能够基于和弦、节奏、旋律交叉等多项音乐元素进行内容创作,集作曲、作词、编曲、演唱等多项音乐创作力于一体,相当于一支完整乐队。如今,此项技术已在央视及各省市综艺节目中多次验证,并成功实现了商业化与产业化输出。2017年末,虾米音乐首次推出了“探乐计划”,将AI技术融入虾米APP。用户通过选择曲风、节奏、心情等关键词可实时打造属于自己的曲子,达成人机共同作曲。

歌声合成技术(Neural parametric singing synthesizer)是语音合成(TTS —Text to Speech)的衍生品,其关键区别在于韵律预测模型不同。在普通TTS系统中通常有个别音律模型来根据句子的内容和语调环境预测每个音节的时长和音高曲线。而在歌声合成中,这种韵律模型则替换成由乐谱预测每个音节的时长和音高的歌曲韵律模型,从而最终将韵律参数和频谱参数相结合生成歌声。歌声合成技术已逐渐应用于国内开发出许多趣味功能,如中央电视台《经典咏流传》第二季推的一款“读诗成曲”的在线互动工具,以及2019年1月和3月分别在IOS和安卓上线的“鲸鸣”APP,也可谓是一款使用AI歌声合成技术,以唱歌为主打功能的音乐短视频产品。用户只需要录入自己的声音,APP便可自动修音,并利用AI技术将录音者的声音与原唱音色相结合,打造出一首用户独家的歌曲。

智能化音乐生成模型的主要技术特点是通过将具有旋律、节奏、和声的数字格式音乐文件输入计算机,用LSTM算法进行深度学习,再运用强化学习进行作品优化,创作出完全原创的歌词、歌曲或个性化的音乐,并可广泛应用于视频、游戏、广告、电影电视剧、视频预告片、个人创作等各个方面。但与诗歌、文学创作等艺术领域相比较而言,音乐更为抽象,且目前国内AI作曲研究机构及相关公司缺乏足够数量的且高质量的音乐数据进行训练,所以期望用AI作为生产力创作出一线作品,还有待时日。以目前AI作曲能够达到的水平和能力来看,越是强调细部特征、情感表达丰富、调式调性复杂的偏艺术类作品,AI完成得都过于“机器化”,不够“人性化”。而功能性较强或是规则性较强的作品,则完成度较好,比如比较简单的音乐旋律、和声、配器、织体的儿歌；具备固定和声或旋律动机循环模式的电子舞曲类作品、场景类影视配乐、游戏音乐等；具备明显和声与编曲套路的流行歌曲等。但毫无疑问,人工智能技术可以作为音乐创作辅助生产工具,其强大的学习能力及超快的创作速度,可以满足大量低成本原创音乐的需求,而且可以进行更为个性化的定制,或创造出音乐与AI结合的新玩法。

二、人工智能推动流媒体数字音乐传播媒介“个性化”

在阿里音乐、腾讯音乐、网易云音乐之间纷纷达成版权互授后,头部音乐版权基本形成共享格局,在线音乐市场也进入了以拼用户体验为指向的后版权时代。尽管音乐流媒体如今在音乐产业中依然处于核心地位,但版权和拓展新用户已不再是单一标准,基于大数据技术,以个性化推荐为核心的一系列平台体验与服务成为了重中之重。

随大数据成长起来的人工智能技术,由“推荐算法”驱动的服务带来的用户“信息茧房”问题成为流媒体音乐平台的关注焦点。在努力让用户得到自己心仪音乐的推荐,同时避免歌单集中单一、用户音乐品味无法得到拓展等方面,各大流媒体平台都采取了各种举措。例如虾米音乐在2017年就开始加大AI智能推荐功能研发的步伐,基于人工智能算法,智能推荐功能可以综合分析用户的情绪以及根据用户所处场景为他(她)推荐适合的音乐,还可以根据数据捕捉用户听歌喜好,从而增加互动性。当前的“AI”电台将“用户推荐喜爱的内容”和“为用户提供更多音乐拓展”的功能设置为“猜你喜欢”和“听见不同”的模块,用户可根据自身习惯选择“保守”“适中”“激烈”等不同程度进行尝试。

在2019年新年点燃朋友圈的网易年终听歌报告中,H5产品的应用也毫无疑问是人工智能大数据的力量。这些大数据的精确程度和对用户音乐喜好和习惯的了解程度甚至超越了用户自身,也成为打动用户、驱动营销、收割用户的中枢神经,不仅改变了用户的听歌习惯,个性化音乐推荐也推动了用户音乐付费意识,促进了用户线上线下音乐活动消费,进一步深化了中国音乐产业的发展。

三、人工智能助力音乐教育培训革新

教育的进步总是与科技的革新同步,伴随着AI技术的不断革新与发展,智能教学时代早已悄然来临,逐渐将多媒体教育时代推向幕后。人工智能技术能够让音乐教育变得更简单和独具创意,人工智能可以成为教师的得力助手,也是同学们的智能向导。如今音乐教育行业不断加速实现信息化、智能化变革,“人工智能+音乐教育”的创新模式开始变得越来越“流行”。

目前在中国,人工智能与音乐教育的结合主要体现在智能音乐教育系统的不断进步。例如荣获了“2016教育行业人工智能创新突破应用”大奖的“大眼睛”智能陪练机器人。“大眼睛”可全程录制孩子的演奏过程,更可在每一遍练习后将错音和节奏不准的音符体现在曲谱上,使得琴童、家长和老师都能一目了然地知道错误在哪里,有的放矢地帮助孩子找错音、打节拍。在练琴枯燥这一问题上,其设定了名师演奏示范的功能,独家邀请九大音乐学院名师、青年演奏家亲自示范演奏相关曲目,孩子可以在练习之前从多种角度、以多种速度去欣赏、模仿,从而做到实时帮助孩子正确理解曲目,学习正确的演奏姿势。

智能音乐教育系统可以采用先进的音频识别技术、图像与视频识别技术,全方位地记录学生弹奏的整个过程,相当于有一对一的老师进行陪练,在人工智能与大数据技术支持下,对钢琴家和学生的演奏数据进行分析对比,形成客观的学习能力评价,更高效地普及音乐教育。

2018年11月26日,中央音乐学院举办了“AI之夜——音乐人工智能伴奏系统音乐会”,由印第安纳大学利用AI伴奏系统Cadenza Live和中央音乐学院演奏者相互配合,提供可以根据演奏者音乐节奏的变化而变化的现场协奏形式,也预示着人工智能伴奏系统正快速发展并逐渐投入日常的音乐教学、演出等实际应用领域,极大提升音乐教育行业信息化水平。

因此,人工智能颠覆传统的音乐学习模式主要体现在以下三个方面。首先,AI解决了乐器学习的陪练问题,让学生学会各种练琴技巧,不再受家庭出身、学校和教材的限制；其次,智能音乐教育打通了传统单一的教学模式,形成视频、声音、演练等多维教学模式,更具趣味性和多样性；再次,降低了音乐学习门槛和学习成本,无论是成人还是孩子都可以在“智能学习”系统的帮助下“自主”学习。智能音乐教育逐步形成“智能硬件+APP”模式。

另外,随着对舞台演出形式的创新以及音乐教育的需求,人工智能乐器研发也受到业界、学界的关注。将数字乐器技术与人工智能技术相互融合,从而创造可以改变当今传统乐器的演奏、学习方式的全新智能乐器,解决传统乐器在演奏中的演奏方式、音色音域、入门者的学习难度,以及音乐的传播与分享的局限,让人和乐器进行更“直觉化”的沟通,让乐器来主动理解人的演奏动作,大幅减少人与乐器之间的隔阂感,从而创造出新的演奏形式,并降低学习乐器的成本与门槛。

四、人工智能重构音乐音响设备市场格局

人工智能还影响到音乐还原的关键环节——音响设备。人工智能兴起之后,智能音箱市场兵戈四起,且重点也从音质直接转向“智能”“助手”“人机交互”等功能。2018年可谓是全世界,更是中国智能音箱的元年。根据全球权威市场调研机构Canalys2019年2月的报道,2018年全球智能音箱市场出现爆发式增长,而推动市场的三巨头分别是谷歌、阿里巴巴和小米。三巨头中有两家是中国企业,除此之外,在跻身世界前五名的智能音箱中,中国占了三家,分别是阿里巴巴、小米和百度。目前在国内市场涉足智能音箱的企业大大小小已接近50家,其中包括互联网公司、技术厂商、内容厂商、创业公司、以及传统音箱厂商。

除语音交互技术、声学技术、音箱音质是竞争技术重点外,AI是否“智能”成为了目前智能音箱的核心竞争标准。AI技术其实是智能音箱的核心,就像是智能音箱的大脑,直接影响了音箱是否“智能”。除了通过拾音技术提高使得音箱能够被更快唤醒,听力敏锐之外,智能音箱还应当能够通过语音技术准确识别用户说了什么,学习用户的自然语言命令,在和用户不断的互动中学习用户的习惯、喜好,并且在不断的练习中提高执行任务的准确性,这要求AI的生产商拥有更大量的数据库,在音箱中建立起更大的神经网络系统,提升智能音箱的整体表现。

除智能音箱以外,无线耳机的竞争也在人工智能上下足功夫,AI助手成为必不可少的竞争筹码之一。相比于传统蓝牙耳机,智能耳机所强调的语音交互式体验是前者不具备的,同时也能带来更多样的应用场景和扩展性。耳机作为当前使用量最大和使用时间最长的外设产品,未来或将有望承接智能手表等可穿戴设备,带来更加轻松和便捷的使用体验。

五、对“音乐+人工智能”复合型人才需求的思考

AI目前在中国的发展劲头强势,在中国音乐产业中的应用也逐步扩展,发展潜力不容小觑。大致来看,目前人工智能在音乐创作、流媒体音乐传播、音乐教育以及音乐科技设备相关领域应用成果较为显著,通过AI技术的不断发展,AI与中国音乐产业的结合也会越来越紧密,甚至拓展出全新的应用方式。

目前美国等发达国家已有了相当规模的高等院校开设了Music Technology(音乐科技)专业,其中如MIT(麻省理工大学)、Stanford(斯坦福大学)、CMU(卡内基梅陇大学)、Georgia Tech(乔治亚理工大学)、Indiana University(印第安纳大学)等高校都已经在AI作曲、AI伴奏以及AI交互演出等项目中进行了较为深入研究。

在这个人工智能的时代,也同时需要思考中国未来人工智能与音乐的综合人才培养问题。比如AI音乐创作作为一个艺术与理工之间跨界双修的行业,需要从业者是兼具音乐与人工智能相关技能的复合型人才,AI音乐创作的核心人才要对深度学习算法、数字音乐工作站、MIDI格式架构非常了解。目前中国也逐渐开始培养AI音乐相关复合型人才,中央音乐学院携手清华大学、北京大学组建跨学科导师阵容,于2019年首次招收“音乐人工智能与信息科技”方向的博士生,着力培养音乐与理工科交叉融合的复合型拔尖创新人才。这种新型人才培养的启动为中国未来AI音乐相关人才输出提供了一个良好的开端和发展的人才储备。未来中国可能会有越来越多的音乐院校与以理工科为强势专业的院校携手合作,进行艺术与科技的融合与交流,碰撞出更多音乐科技的火花,从而助力中国音乐产业蓬勃发展,助力中国科技强国之梦。

注释:

① Nathan Benaich,Ian Hogarth.StateofAIReport.Stateof.ai,June 28,2019.

② 中华人民共和国国家新闻出版广电总局：《国家新闻出版广电总局关于大力推进我国音乐产业发展的若干意见》新广出发〔2015〕81号,新闻资讯,http://www.gapp.gov.cn/news/1663/269733.shtml,2015年12月1日。

③ Ramon Lopez de Mantaras,JosepLluis Arcos.AIandMusicFromCompositiontoExpressivePerformance.AI Magazine,vol.23,no.3,2002.p.AAAI.