当代音乐人工智能技术的应用与展望

摘 要：人工智能是21世纪以来，对人类音乐发展影响最为全面和深刻的技术和理念之一。而且在近年来，这种影响已经不再局限于音乐本体，而是扩展到了音乐的相关学科，也获得了全面的艺术呈现效果。基于此，本文从交互式电子音乐中的四个大类（传统舞台的交互式、舞蹈交互、艺术装置、叙事舞台）阐述音乐人工智能与跨学科的关系，并简要描述近期上演的代表性作品，从而介绍目前国际最新人工智能在各个领域的演出作品和应用。

关键词：音乐人工智能；跨学科应用；展望

中图分类号：J614文献标识码：A文章编号：2096-0905（2023）34-0-03

一、音乐人工智能技术的跨学科应用

（一）交互式电子音乐

数据驱动乐器是交互式电子音乐的一个分支，也是笔者主要研究的方向。传感器作为乐器的编程是电子音乐作曲面临的主要问题，即要如何划分声音。其中包括四大类，最常见的便是乐器与电子音乐的交互。乐器通过麦克风与电子音乐进行实时交互，或者演奏员穿戴音量检测器或者传感器，通过实时数据流和电子音乐进行交互。交互的结果可以反映为两种——声音、视觉。无论什么样的交互，通过电脑输出后，可以生成实时电子音乐，或者触发声音片段，再或是通过Max/MSP中的Jitter投影产生视频效果。

相比传统作曲，交互式电子音乐会带来更多不同的感受，例如，钢琴演奏传统的古典作品时，利用灯光或者实时的画面，在电脑的人工智能运算下，结合麦克风检测到演奏曲子的轻重缓急进行光影变化，让观众从另外一个角度欣赏同一首作品。这种听觉艺术加上视觉效果的形式，除了让人从新的角度理解古典音乐外，同时也吸引更多认为古典音乐“晦涩”的观众，从而能够更好地将古典音乐推出去[1]。

（二）舞蹈交互

舞蹈演员穿戴上传感器，而电子音乐再根据舞蹈演员的肢体动作而进行实时的处理，这是舞蹈的一大革新。传统的舞蹈需要根据伴奏的节奏，而交互式电子音乐的舞蹈可以由舞蹈家用肢体作为“乐器”来“演奏”音乐。

主流的肢体检测分为三种，第一种为穿戴式检测，第二种是摄像头检测，第三种是通过编舞进行检测。

通过穿戴式检测传输数据的有很多，也有很多关于穿戴式舞蹈的论文，在此不再累述。但在众多的传感器中，由Arduino公司推出了一款名为sensestage xbee sensors的传感器与其开源代码，让很多没有编程背景的作曲家可以更简单地建造自己需要的传感器。摄像头检测中的，如Cody Kauhl创作的《Enclencher》。两位舞者在手心贴了红色贴纸，然后摄像头检测颜色（预制红色），从两台Apple笔记本电脑的网络摄像头捕捉手势或表演动作。这些计算机处理数据并通过无线链路将信息发送到另一台计算机上，该计算机使用这些数据根据准备好的算法生成音高和节奏序列。简单来说就是运动轨迹触发Max中预制的声音，从而结合声音和舞蹈。又例如Pablo Garretón创作的Estudio Triángulo III为Interactive dance/music，max/msp，kinect，arduino。在这场表演中，舞者的动作控制着灯光和声音，控制的参数来源于空间中x、y、z舞者的移动位置和移动速度。所有系统均采用Max/msp软件进行编程，并使用kinect作为红外传感器和两个arduino来控制灯光。 Max/msp补丁还通过实时算法产生声音，以便根据舞者的动作实时产生音乐。

上述两首曲子为2013年、2014年的作品，而近期Google推出的Google MediaPipe，可以连接Max/MSP，通过作者lysdexic上传的开源插件，我们可以直接在Max内部得到检测手部、头部、脸部的动作数据，在这个基础上，Max/MSP接收到纯数据后，作曲家和工程师可以按照自己的想法将对应的数据音乐化。

通过编舞和听节拍器（click）从而达到让观众误以为是实时触发效果的方法其实是最早开始使用，最常见的方式。其实与磁带音乐和乐器演奏一样，乐手/舞者需要熟悉音乐，熟悉节拍，在适当的地方出现，听起来看起来以假乱真，让人分不清是实时还是预制。

（三）艺术装置

带有可触发声音的交互式艺术装置近来在国际各大美术馆展出，作品既是雕塑，又是互动音乐装置。此外，增加了“声音”这个纬度，也带给雕塑家们新的灵感，从而从更广阔的纬度去表现艺术家想要表现的主题[2]。

Amatria作为有感知的建筑雕塑（Sentient Architecture）作品，是由Philip Beesley领导的多伦多生活建筑系统集团（LASG）、Philip Beesley Architect Inc.和网络科学中心网络基础设施（CNS）的成员设计和建造的。雕像和楼体一同建造。目前位于印第安纳大学伯明顿分校信息计算和工程学院四楼。

Amatria悬挂在4楼中庭的楼梯上方，由3D打印結构灌木丛形成的庞大森林景观。作为实时交互的建筑雕塑，便是人工智能的编程，使得其使用光和运动传感器收集有关环境的信息，对大气声音、起伏的运动和变化的颜色做出反应，并且在后台实时发出自然之声，模仿丛林。Amatria的每个零件都包含一个光传感器和执行器，从而使后台软件得以控制每一个零件上的传感器和执行器。

图1作品中人工智能运用于Amatria对于自然日照光线的捕捉、周围环境的信息、大气声音的起伏进行检测后产生数据流，并发送到每个单独的羽毛元件（见图2），使其能够对每日环境变化做出相应的反应。音乐在其中扮演的角色，是支撑“3D打印森林景观”的声音部分的出现。整个作品规模庞大，需要运行的程序众多，如同一个有机体。笔者猜测这也是作者设计的初衷：森林作为自然有机体存在，乍看平平无奇，但森林中的万物都是紧密相连的。当人类试图用科技“复制”这样的“简单的有机体”时，才会体现到自然规则的庞大和对自然法则的敬畏[3]。

（四）叙事舞台（文学戏剧）

这一类可以从故事情节和语言学两个方面入手，故事情节可以和交互式多媒体进行互动，从音乐、灯光、舞臺、交互式多媒体出发，让导演更好地讲述故事情节，同时使观众更加身临其境。

亚历山大·舒伯特（Alexander Schubert）所创作的Anima?被他自定义为“人工智能驱动的研究所（AI-driven institute）”。在作品简介中介绍：“Anima?是一个中心，人们可以进入模拟情境，举例说明他们生活中的段落和时刻——不断变化的参数和修改的现实。它是由计算机运行的人工智能驱动的场景，以提供心理洞察或先验启蒙。这是一个放弃自我和身体，屈服于不断变化、强化的环境的过程，在这个环境中，世界随着人的进入而消失。它使未来和过去栩栩如生，并使虚拟充满活力。它在客体与主体、生物学与技术、启蒙与自我消解之间运作。”

从图3可以看，舞台前有一个半透明网纱的屏幕，这个屏幕可以使投影仪投影画面，同时也可以让观众看清演员或演奏家。作曲家在2023年布鲁塞尔的讲座《虚拟身份模型（Virtual Identity Models）》中提到，这样的设置是“……仿佛我们透过舞台，在看一卷录像带”，这样的设置强调了故事感和距离感。Anima?的表演分为没有AI参与的部分和有AI参与的部分，分别对应舒伯特想表现的内和外（inner and outer）的概念。

没有AI参与的部分，根据作曲家在讲座中介绍的：“从技术上讲，这首曲子的所有七位表演者都使用节拍器（click track）；他们所说的每一个动作、每一个字，都是由节拍器产生的。所以参与者几乎没有代理权，也没有什么表达的空间。”

而有AI参与的部分，AI主要自动实时生成三种文本：（1）对于台上演员们的指令（如向前、回头、哭、笑等）；（2）自动生成诗歌；（3）由AI生成的人物声音进行朗诵自动生成的诗歌，演奏生成各种乐器声音，以及合唱队声音等。

以上三点所涉及的技术之广，编程之复杂，是令人无法想象的。第一和第二点中，可以使用人工智能、数学模型系统和神经元编程完成。而在第三点语音和乐器声音的生成，则需要前期对表演者，乐器、合唱团大量的录音后，由电脑生成的类似于这些采样乐器/人声的声音。需要注意，这和平时在DAW中使用的音源采样不同，这录制了声音之后，计算机会自动分析乐器/人声的音色所反映的频谱，自我进化生成更进一步类似于输入乐器/人声的声音。在此基础上，无论电脑生成什么文字、诗歌，都不需要女演员在此录音，而是直接可以用电脑生成的声音朗诵生成的文本和指令。作者在讲座中提出，本作的中心思想，是思考“从内向外，从外向内看”的思想，且内外的连接（interface）才是最重要，最值得探索的[4]。

综上所述，人工智能给艺术家带来了更多表达的可能性，可以让艺术家在更多的维度上表达自己的思考，自己的想法，迸发出更多的灵感，影响更多的听众与观众。

（五）其他跨学科关系

以传统音乐中古琴演奏的记存方式为例。早先，古人为了保存古琴的弹奏指法、弦序和音位发明了减字谱，但令人惋惜的是大部分乐谱早已消失在历史的洪流中。例如，上海音乐学院赵维平教授在一次采访中透露，他们正联合华为团队研究如何用人工智能来解读这些“天书”，重构古曲。这一过程需要电脑程序员将减字谱的记谱规律编写成程序，再用智能设备拍下谱例，并智能翻译成简谱收录数据库中，随后，通过云计算等技术手段在服务器上训练神经网络模型，进行减字谱的深度学习。这个过程便属于机器学习（Machine Learning）。

二、音乐人工智能技术的跨学科展望

交互式音乐演奏、视觉艺术、人工智能识别系统可以让各个学科之间有更加紧密的联系，进行更多的跨学科项目交流。

从音乐科普的角度来说，多媒体互动可以改变认为古典音乐“晦涩难懂”、传统音乐“曲高和寡”的听众的认知。在传统的演奏中，根据实时的音乐变化做出现场的沉浸式视觉效果，吸引更多的年轻观众群体，推广古典音乐的现代魅力，使得更多人开始进一步了解古典、传统音乐。

从合作的角度来说，多媒体视觉艺术是一大趋势。对于现代多媒体歌剧来说，现代的科技手段可以帮助舞台导演有更多的维度展示作品，更好地体现人物的塑造，或者使观众更加身临其境。其中包括实时的音乐和舞蹈的合作、电子音乐和视觉艺术的结合等。做到互帮互助，增加院际交流，互相提升。

从表演教学角度来说，积极引进人工智能跟随伴奏，能够引导学生对伴奏声部进行练习，从而提高伴奏课的效率，减轻伴奏老师的工作压力，让跟随伴奏事半功倍，提高学生的整体水平。

从项目申请角度来说，以“新时代新技术话说经典”为主题，用最新的媒介传播中国传统文化。在世界范围内介绍中国传统文化，用新时代的技术谱写传播经典文学作品，在国际音乐节介绍更多中国文化。

三、结束语

法国IRCAM声学研究所CNRS的研究主任让·路易·贾维托曾说：“人工智能在某方面会比我们更‘艺术……因此，人工智能迫使我们从另一个角度重新思考艺术、哲学、人类学等古老的问题。”科技与艺术的结合已经成为不可阻挡的趋势，作曲家通过在音乐创作中有效融入AI技术，提高音乐创作质量。但科技自身不会产生艺术，科技却可以作为载体激发人类以其形式进行创新，并推动整体音乐艺术的发展。这也正是音乐家坚信人工智能音乐具有光明发展前景的基本理念所在。

参考文献：

[1]黄宗权.音乐人工智能的哲学审思[J].中央音乐学院学报，2023（03）：9-21.

[2]陈天娇.人工智能在音乐创作中的应用[J].信息与电脑（理论版），2023，35（12）：177-179.

[3]杨东妮.基于人工智能技术的图书馆音乐资源数据库建设方法研究[J].信息与电脑（理论版），2023，35（10）：180-182.

[4]徐丽梅.音乐人工智能专业风头正劲[N].音乐周报，2023-07-05（031）.

作者简介：林舒瑜（1994-），女，福建厦门人，博士，从事音乐作曲等研究。