AI助推古琴谱升维高维乐谱

孙洋 王利 张辉

一、引言

众所周知，音乐学内涵仍待进一步挖掘，至少在人工智能时代，使用机器学习的方式来处理乐谱学问题是一种完全值得尝试的方向。在人工智能技术辅助下，运用图像识别技术和声音识别技术分别采集典型的古典乐谱的信息，比如律吕字谱、工尺谱、宫商字谱、古琴减字谱等记谱法，这些是中国古代音乐特有的记谱法，但无法与当今数字简谱、五线谱等通用。古典乐谱只规定了节拍的起始位置，并未对音符的具体时值进行分配，这是解读古典乐谱的最大难点。用五线谱记录音乐作品时，会出现很多不便利、模糊不清的状况，而二维谱的出现从根本上解决了这些问题。

本文以《长相思》《钗头凤》《广陵散》等古琴谱为例，把古琴谱应用计算机程序自动翻译成二维谱，并提出一种基于机器学习的节奏调整模型。通过研究如何借助图像识别技术，建立机器学习算法的古琴谱自动翻译系统，从而把古琴谱应用机器自动翻译成高维乐谱——二维谱。由于目前在世界范围内的各种记录音乐的谱系中，以高维乐谱记录音乐信息的功能最为强大，且科学性强，能基本做到不丢失信息，尤其是易于机器识别而成为人机共识的音乐语言，所以在此直接考虑AI将古琴谱自动翻译成二维谱，以对古琴艺术的推广和传承产生更好的推动作用。

二、深度学习下AI自动翻译古琴谱流程

深度学习技术大幅度促进了人工智能的应用和发展，利用图像处理与图像识别技术，基于深度学习的智能计算方法，设计和开发乐谱识别与整理系统，可实现传统古乐谱向数字乐谱、古典乐谱向高维乐谱的转换。对于古典乐谱的翻译者，比如古琴谱的翻译，在进行音时值翻译时，一般是依据自身的创作经验和对乐曲的理解找到比较符合乐理和人们欣赏习惯的信息。但是，这种乐谱的翻译与整理过程，受到其自身文化水平、对历史时期的情感、对乐器的感观等各种因素的制约，个人主观性过强，很可能使乐谱不适合大众的观感要求，甚至违反古乐谱本质的音乐特征。本文采用图像识别技术采集古琴谱的信息，并且依据古琴的特点、乐曲的历史背景、演奏的背景等，制定相应的规则，利用深度学习技术，生成数字乐谱。基于本文系统的古乐谱音时值的翻译过程如下：

结合上述对古典乐谱的音高和音长特征的训练和学习，依据二维谱的记谱法最终可以输出对应古琴谱的二维谱升维流程如下：

图1 基于乐音识别技术的音时值翻译流程

图2 对应古琴谱的二维谱升维流程

三、智能化优选最佳谱系

早期的古琴谱是由更早的文字谱写成，其后，减字谱逐步替代了传统的文字谱。由于减字谱没有标注时值信息，演奏者只能依据谱子所表示的指法直接弹奏，不同的演奏家可以任意发挥，同一曲谱风格各异，但是也造成不同的人对曲谱的理解各异，传承与古琴教育与其他乐器相比，难度更大，目前已有许多学者开始从数字化、人工智能等方面研究如何保留传承千年的古琴曲。

1.乐谱图像预处理。已经收集到的古乐谱图像，并不是理想的黑白两色图片，包括很多干扰，比如图像的噪点、底色、人为的墨点、破损、手写特有的连笔等，这些就要求进入系统前对图像进行预处理。首要完成图像的灰度变换和二值化，特别是对于符号、文字图像，可以大幅度减少图像的复杂性，方便完成文字符号识别。其次，手写古乐谱有着手写文字的各种特点，如连笔、同一笔画的不同写法、文字的重叠与覆盖，增加了识别的难度。利用图像分割、腐蚀等技术，将图像中的文字个体分离出来，提取出单个字符，提高识别的准确度。

2.建立古樂谱、古汉字字符识别库，建立乐谱翻译规则库。古乐谱，如减字谱等，都来源于中国古代汉字，根据乐谱中每个字符的特征进行拆解，分析完整字符与字符组件的联系，建立可用的古琴谱字符识别库。依据古乐谱的时代背景、大众欣赏习惯、传承下来的乐谱的演奏技法等，确定古琴谱的音高和时值，并融合现代五线谱、简谱、二维谱以及高维乐谱的创作规则，制定古琴谱与现代乐谱的对应关系，建立古琴谱翻译规则库。以字符库和乐谱翻译规则为基础，组成本文系统的训练数据库。

3.综合前述各节的技术实现过程，减字谱算法执行流程如图3所示：

图3 古琴谱的算法执行流程图

4.古琴谱的机器识别系统，以OpenCV开源图像处理、识别库为基础，设计相应的乐谱识别软件系统。其工作过程如图4所示：

图4 机器识别工作过程

为做演奏记录，古代中国音乐人寻找了多种途径，创造了多种乐谱。近几年，开发出能基本保全信息的高维乐谱——二维谱就显得尤为重要，实现古琴谱到二维谱的直接翻译。图5、7、9是民间经验式简谱和古琴谱的对译结果，而图6、8、10是深度学习下AI输出的二维谱。除了直观、简约、信息丰富外，更重要的是人机共识，可由智能机器直接演奏，由此为未来音乐艺术拓展出更广阔的空间。

图5 简谱和古琴谱的经验式对译结果——钗头凤图6 深度学习下AI输出的二维谱——钗头凤图7 简谱和古琴谱的经验式对译结果——长相思

图8 深度学习下AI输出的二维谱——长相思图9 简谱和古琴谱的经验式对译结果——广陵散图10 深度学习下AI输出的二维谱——广陵散

四、结语

中国的古典音乐，历史悠久，仍然得以流传至今。一种艺术形式几千年来随着历史的长河不断融汇、演变和发展，在旧有的形式上创造出新的形式和内容。古琴即是中国最古老的一种高雅的乐器，以静与雅为特征，从名曲角度谈古琴，介绍历史渊源和鉴赏方法，传播和弘扬古琴艺术——雅正中和的高古之音。作为弹拨乐，不能说古琴能适应所有的曲牌，而是会有选择的，这有利于保留和继承传统并弘扬光大。

中国的古琴历经千年的发展与演化，已经成为世界非物质文化遗产，包括了古琴琴身制造工艺、琴谱和演奏技法等多个方面。由于古琴谱演奏过程难以规范化、字符不通用等原因，使传统乐谱的大众化之路和当前信息化时代的數字化之路增加了难度。艺术是超越艺术本身的，得心中意象，求弦外之音、诗外之言及画外之意。音乐是抽象的，琴音绕梁。琴声又是具象的，引人入胜。中国文化如同高山流水，水有源，源远流长。认识琴曲的机会，从古琴乐的形神兼备到游神而得于弦外，感受中华文化的博大精深。

注：本文系项目批准号为18ZD23的国家社科基金艺术学重大招标项目“大数据时代高维艺术理论与实践研究”的研究成果。

参考文献：

[1]张辉等：《高维艺术学概论》，科学出版社，2019年12月。

[2] 张辉等：《高维乐谱学导论》，科学出版社，2019年12月。

[3] 张辉等：《音乐作品二维图谱分析法创设与运用》，科学出版社，2019年12月。

[4] 孙洋等：《高维艺术理论与实践》，中国社会科学出版社，2019年10月。

[5] 张辉：《3D乐谱会否掀起音乐革命》，《人民日报》2020年7月。

[6] 高一凡等：《AI背景下蛋白质序列音乐研究》，《艺术教育》2019年第6期。

[7] 陈宇综等：《数据驱动下蛋白质绘画对微观艺术的勾勒》，《艺术教育》2019年第6期。

[8] 王旭等：《用二维图模编辑法创作钢琴小品〈滑梯〉》，《艺术教育》2019年第5期。

[9] 王旭等：《用图模编辑法创作星际之旅主题歌曲〈快让我触摸〉》，《艺术教育》2019年第4期。

[10]孙洋等：《歌曲钢琴伴奏中的图模化解构》，《艺术教育》2019年第4期。

[11]张辉等：《以高维乐谱为载体的新作曲技术开发思想综述》，《艺术教育》2019年第3期。

[12]王利等：《AI自动翻译“减字谱”——以〈流水〉和〈不染〉为例》，《艺术教育》2019年第3期。

[13]张辉等：《贝多芬钢琴奏鸣曲主题的二维图谱分析》，《艺术教育》2019年第2期。

[14]刘乃歌等：《AI自动翻译南音——以古典名曲〈夫为功名〉为例》，《艺术教育》2019年第2期。

[15]孙洋等：《复调音乐分析中二维谱的优势体现》，《艺术教育》2019年第1期。

[16]杜庆东等：《深度学习下AI自动翻译乐律全书——以乡饮诗乐谱为例》，《艺术教育》2019年第1期。

[17]3D乐谱支持下音色可视化调节器，发明专利申请号：202010515837.5;

[18]3D乐谱建构方法，发明专利申请号：202010318807.5;

[19]音乐创作的图模编辑方法，中国著作权保护登记号：国作登字-201-L-00754662;

[20]音乐作品二维图谱分析法，中国著作权保护登记号：国作登字-2018-L-00674103。

孙 洋 沈阳师范大学音乐学院教师

王 利 大连理工大学控制理论与控制工程专业工学

博士、东北大学信息学院博士后、沈阳师范大

学教师

张 辉 内蒙古民族大学特聘教授、博士生导师