面向音乐艺术院校研究生的“音乐与人工智能”科普课程

陈根方

（浙江音乐学院 音乐工程系，浙江 杭州 310024）

0 引 言

人工智能（Arti fi cial Intelligence）是近半个世纪以来人类科技史上发展最快的重大技术之一，在机器人、语言识别、图像识别、自然语言处理和专家系统等领域取得了令人瞩目的成就[1]。2017年，国务院印发《新一代人工智能发展规划》，明确指出在中小学阶段设置人工智能相关课程、逐步推广编程教育、建设人工智能学科，以培养复合型人才，形成我国人工智能人才高地。2018年4月，由华东师范大学慕课中心、商汤科技、上海知名高中优秀教师共同编著的《人工智能基础（高中版）》[2]教材出版，此书是面向高中学生的教材，讲授人工智能的发展历史、基本概念以及实际应用，将在上海多所首批“人工智能教育实验基地学校”试点人工智能课程。

算法作曲是人工智能在音乐艺术领域的较早应用之一，早在1956 年，Lejaren Hiller出版了算法作曲作品——弦乐四重奏《Illiac 组曲》，从而揭开了人工智能在音乐艺术领域的应用前景。利用深度学习技术进行音乐创作的探索研究正在展开，2017年，多伦多大学的储航（音）等利用深度学习（Recurrent Neural Networks）的方法，从100小时的midi音乐格式里面进行学习，然后采样训练好的模型来生成音乐[3]。

由于人类脑科学研究的滞后性，对音乐创作这一理性与感性起双重作用的人类活动的研究尚处于开拓期，人工智能创作的音乐作品，面临着诸多亟待解决的问题，如音乐信息的评估问题，很显然，不同的人聆听人工智能创作的音乐会有不同的评估结果。这些问题还需要多学科、多领域协同研究，付出更大的努力。

传统音乐艺术院校研究生的培养内容主要集中于音乐艺术领域，艺术性突出，缺乏对科技领域知识的有效传授。研究生一般已学习了大量的音乐专业知识，具有一定的学习能力，也需要拓展自身的知识面，了解社会热点。人工智能科普课程主要介绍人工智能的基本思想和方法，向学生提供最基本的人工智能技术和相关问题的入门知识，重点学习人工智能在音乐艺术领域的研究成果和应用场景，为进一步利用人工智能打下良好的基础。

1 开设“音乐与人工智能”科普课程的必要性

（1）可以让学生了解信息技术的当前热点，激发其对音乐与科技交叉学习的热情。相对于较为成熟的中西方音乐理论，音乐与人工智能的融合研究尚处于开拓期，很多技术都有待进一步完善和更新，不同的研究内容将为学生提供广阔的发展空间，探索出多样化的理论和应用成果。

（2）能使音乐艺术院校的研究生具有初步的求解问题的能力。音乐专业使得学生塑造出特定的音乐思维，利用这些思维方式能很好处理经典的音乐问题，而音乐领域的很多问题是非线性、非结构化的，这些问题通常无法用简单的数学方法或音乐理论进行解答，需要培养学生人工智能式“面向问题”的思维方式，提高工作效率，优化知识结构。

（3）能使学生了解人工智能在音乐艺术领域的应用前景。人工智能技术已经在音乐领域有半个多世纪的应用研究，取得了丰富的研究成果，开发了许多实用的音乐系统，如音乐推荐系统、乐谱识别系统、自动伴奏系统等，这些都是多学科交叉研究的成果，音乐艺术院校的研究生应该了解这些具有代表性的研究成果，积累人工智能的相关知识，为日后的科学研究打下广阔的知识结构。

2 “音乐与人工智能”科普课程内容设计

“音乐与人工智能”科普课程的教学方法必须从音乐出发，经过技术处理，回到音乐。可以采用问题驱动的方式，如通过讲解“图灵测试”问题，提出“如果你无法区分一首乐曲是算法作曲还是人工作曲的时候，怎么办”来引出算法作曲的评估问题。“音乐与人工智能”科普课程的内容见表1所示。

表1中包含有人工智能在音乐领域的研究内容，其中有些内容针对的是特定的音乐媒体，这些音乐媒体包括文本、乐谱、音频、音序4类，如算法作曲是文本信息到乐谱或音序信息的转换，文字信息到音频信息是音乐检索的研究对象，在数字音乐媒体的基础上，人工智能在音乐领域的研究内容包括音乐作品的不同数字音乐媒体之间的自动转换，音乐媒体在转换前和转换后有不同的表示形态，不同的转换过程采用了不同的实现方法，分别隶属于不同的研究范畴。

“音乐与人工智能”科普课程以音乐理论为基础，以音乐的表示媒体为对象，利用人工智能理论研究音乐媒体之间的转换方法，涉及乐谱识别、音频识别、情感感知、音乐检索、自动作曲、自动标注和音乐挖掘等相关研究领域。相关的教材可采用文献[1]。

3 音乐与人工智能”科普课程部分内容展开说明

（1）人工智能概述：在科普内容中，人工智能的历史、内容、应用需要让学生进行简单的了解，特别是三起三落的发展历史，每个阶段的主要技术和应用场景，这些主要技术与音乐领域交叉研究成果。人工智能与大数据、云计算的关系，音乐与大数据、音乐与云计算的关系等内容的介绍，让学生对“音乐与人工智能”有总体的概念和了解。

（2）音乐检索：音乐检索是利用有限的音乐信息获取更多相关音乐信息的过程，通过提供文本、情感、片段或实例等有限的音乐信息，获取更多与提供的音乐信息相同或相似的音乐信息，常见的音乐检索有基于文本关键词检索、基于音乐情感分类检索、基于哼唱的音乐检索和基于实例的音乐检索，检索的结果有文本、乐谱、音频或音序等形式。

表1 “音乐与人工智能”科普课程的内容

（3）乐谱识别：乐谱音乐信息的自动识别研究，它是利用计算机进行数字乐谱图像处理与识别的技术。它利用扫描仪等数字化设备，将纸质乐谱以图像的形式输入到计算机，经过图像处理与识别，把乐谱图像自动转化为标准的音乐格式文件。它综合利用了人工智能、图像工程、模式识别、MIDI技术、数学形态学、音乐理论等方面的知识。

计算机光学乐谱识别技术能较好地完成从纸质乐谱向数字音乐的转化，提高了手工输入数字乐谱的速度，使基本的音乐音符输入由人工完成为计算机外设来完成。OMR技术为纸质乐谱数字化提供了一个的新途径，有着极为广泛的应用前景，其中在计算机辅助音乐教学、音乐统计学和数字音乐图书馆建设等方面得到或将得到较好的应用。

乐谱识别研究起源于1966年MIT的研究人员对五线谱乐谱进行的音乐信息识别[4]，经过半个多世纪的研究，取得了大量的研究成果，其中在OMR研究中使用的理论方法有神经网络、模糊理论、遗传算法、高层领域知识、图文法、数学形态学、投影法等，研究对象也从五线谱乐谱逐步扩展到medieval music、white mensural notation、early music prints、orthodox Hellenic Byzantine music notation、Greek traditional music、昆曲乐谱[5]等。并产生了大量的实用软件，如Capella-scan、Optical Music Easy Reader、Photo Score、Sharp Eye、Smart Score、Vivaldi Scan，这些软件都是针对印刷的五线谱乐谱进行识别的，正确识别率可达到90%以上。

（4）音频识别：音频是信息的重要载体，是音乐传播的主要方式之一。数字音频中携带的音乐信息，可以转换为其他音乐媒体。音频识别研究有30多年的研究历史，主要针对音乐音频和语音音频进行识别和分类，音频转换为文本的研究对象有乐器音频识别、中国民歌分类识别、中国戏曲唱腔分类识别、音乐流派分类识别等；转换为乐谱（或音序）的研究对象有音高分类识别、节奏识别等。

（5）情感感知：音乐是情感的艺术，基于内容的情感感知和识别是智能音乐学的一个重要方向，也是从数字音频到“情感表示”模型的转换过程。常见的音乐“情感表示”模型有Thayer的二维情感模型、Dorai 和 Venkatesh的节拍和清晰度二维模型、Hevner的情感环模型等。情感感知与分类的常见技术有多模型分类器、模糊法、个性特征、感知模型、GMM模型、HMM模型、SVM模型等。

（6）算法作曲：算法作曲利用从音乐作曲理论或某个音乐家的作品、某种音乐风格、某种音乐流派等中提炼出来的形式化生成规则，通过提供一些必要的参数，创作出音乐动机、音乐作品、音乐伴奏等音乐信息的过程。

音频作曲主要以傅立叶变换为理论基础，常见的算法作曲的方法有风格模型、分层结构控制、遗传算法、全面控制、马尔可夫链、音乐样式、HMM模型、调式和弦字典库、人工神经网络、深度学习等。这些研究有些是模仿作曲家的音乐风格，有些针对自动伴奏或配器，大多数的研究成果围绕音乐旋律或动机展开，从而产生完整的乐曲。

（7）音乐智能分析与音乐推荐：音乐智能分析是从大量的音乐数据中通过算法搜索隐藏于其中有用信息的过程。分析过程通常通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。音乐资料浩如烟海，大量资料可以在信息时代被利用，在音乐大数据中进行信息挖掘，特别是从大量的乐曲中提炼出个性化、适合特定用户的乐曲，是音乐推荐的主要研究目的。根据不同的分析目的有多个不同的研究方向。如梳理音乐信息链属于音乐考古学，获取音乐家的影响力可统计作品或名字的出现频率，对用图像格式存储的乐谱图像进行文本标注，自动分析音乐数据中的音乐风格和作曲家的创作习惯等。这些研究都需要有音乐大数据的支撑。

（8）水印技术与音乐版权：数字水印技术是将一些标识信息（数字水印）直接嵌入数字载体（包括多媒体、文档、软件等）中，并不影响原载体的使用价值。版权保护是水印技术重要应用场景，可利用版权认证来保护原数字载体的权益。在研究音乐作品版权保护的问题时，音频、乐谱、文本等不同媒体是常用的数字载体，针对不同的媒体格式，开发出大量不同的水印技术，一些技术已应用于MP3音频的版权保护。

（9）乐器3D打印与智能音箱：3D打印是一种累积制造技术，即拥有快速成形技术的机器。它是以数字模型文件为基础，运用特殊蜡材、粉末状金属或塑料等可粘合材料，通过打印一层层的粘合材料来制造三维的物体。有别于传统的减材制造技术。3D打印在绿色环保方面有巨大的经济效益，在生物医疗、艺术设计、航天工程、建筑行业、汽车行业和电子行业等具有广阔的应用前景。利用3D打印技术打印的乐器有电声吉他、鼓、长笛、钢琴、黄钟笛、电箫等，其中我国学者在黄钟笛、电箫的3D打印上进行了有益的尝试。

智能音箱是利用人机语音交互技术，面向家居场景提供搜索、听歌、购物、社交等服务的智能硬件[6]。2014年11月，Amazon公司公布了全球首款智能音箱Echo，迄今其全球销量超过1 000万台。5年来，大量的智能音箱先后出现，如Rokid Alien、天猫精灵X1、苹果Home Pad、Google Home、联想智能音箱、叮当智能音箱A1等产品上市。

（10）机器演奏与虚拟演奏。音乐机器人（Musical Robot）是通过程序输入（数字或机械）而实现自动演奏音乐的仿真机器[7]。音乐机器人具有悠久的历史，从最早的八音盒到丰田公司的小提琴演奏手经历了200多年的发展历史，在世界上有影响力的有钢琴机器人、小提琴机器人、长笛机器人、风笛机器人、马林巴机器人等，我国科研工作者在葫芦丝演奏机器人、扬琴演奏机器人、竖笛演奏机器人、钢琴演奏机器人、鼓乐演奏机器人和民族乐队演奏机器人[8]等方面进行了探索研究和实践尝试。

虚拟演奏是综合利用人机交互、虚拟现实、手势识别、模式识别和图像处理等技术，通过建立特定乐器的演奏模型，把采集的演奏动作信息转换为实时音乐信息的过程。比较著名的有芬兰赫尔辛基工程大学计算机科学专业系的学生设计发明的一套虚拟空气吉他系统——对着空气模拟吉他演奏并能听到乐音。

4 结 语

我们探讨了音乐艺术院校研究生开设“音乐与人工智能”科普课程的必要性，重点对“音乐与人工智能”科普课程的内容进行了详细说明，为进一步开设课程提供了方便。下一步有必要通过预讲座和问卷调查等形式了解学生的需求和接受能力，调整和充实相关课程内容。