基于神经网络架构的AI音乐定制平台设计

尹俊恒

人工智能与物联网时代的到来，让越来越多的行业面临产业升级。艺术类行业由于其审美多样性及复杂性，一直未能完全实现人工智能化。但随着数据积累量日益庞大，机器算法层次越来越复杂，计算机也比以前更能理解人类的审美品位和创作意图，进而从大量基础素材中加工出优秀的作品，为音乐创作和商业应用提供巨大助力。

近年来，人工智能越来越多地进军乐坛，甚至成为音乐宣传中的时髦元素。Google推出的钢琴机器人AIDuet基于TensorFlow框架和Magenta项目开源工具等打造，其神经网络会寻找与输入音符相匹配的旋律和节奏，并以此为基础生成原创旋律。小冰乐队基于一种端到端的旋律和排列生成框架，成功实现流行音乐的自动生成，并曾在央视《机智过人》节目中挑战现场作曲。Vochleamusic公司创建了一个人工智能音频引擎，以支持用户使用他们的声音创作、控制和操纵音乐。

一、实验内容

1.数据获取和预处理

利用爬虫搜集中文歌曲，建立中文歌曲库。初步筛除库中的重复歌曲和歌词中的不必要信息，如作曲、作词和英文歌词等。由于大量的重复歌词会引导生成的模型趋向于产生重复歌词，虽然重复使用歌词段是歌曲的创作特色，但期于模型产生更加多样的歌词变化和搭配，所以进一步筛除单首歌曲中的重复歌词段。

2.建立歌词模型

基于巨大的互联网数据集，GPT-2语言模型在文本生成上有良好的表现，由用户选择的单词给出可能性排名前十的下一个单词及其对应概率，从而保证文本在上下文的逻辑连贯。利用开源的预训练中文版GPT-2并选择作者提供的散文预训练模型，在包含大约2000首中文歌词的数据集上进行预训练，得到歌词生成语言模型。该模型将用户输入的简单字符串作为网络的输入来预测下一个字符，不断重复字符生成过程直到这些字符组成一串新行。

3.建立旋律模型

Google公司开源的Magenta项目内的GANSynth模型，将生成式对抗网络模型由图像类数据任务训练拓展到声音类序列数据任务训练，GANSynth模型从单个潜在向量生成整个音频片段，在区分音高和音色等全局特征上有更好的表现。主要选择布鲁斯、爵士和流行3种音乐类型，将选取好的旋律模板作为输入，以此生成新的旋律。

4.搭建平台

使用HTML、CSS和JavaScript来组建平台前端的部分，平台主要分为欢迎页面、旋律生成页面和歌词生成页面。歌词生成页面如图1，用户可以在文本框内输入其希望的歌曲开头，按下提交按钮，后台随即启动程序，生成相应的歌词。按下重置按钮，文本框清空，用户可以继续输入。旋律生成页面设置了布鲁斯、爵士和流行3种可选的音乐流派，如图2，用户点击相应的音乐流派，后台程序就会自动生成音乐旋律，并在下方播放器內播放。平台前端及后台搭建具体流程如图3所示。

二、总结分析

传统的神经网络自然语言处理并不具备单词间相似度的概念，单词由简单的单词表序号进行表示，虽然简单且易于观察，但难以体现不同单词之间的内在联系。GPT-2语言模型类似只带有解码器的transformer模型，可以连接音乐中先前的信息到当前的任务上，在经过中文歌词语料训练后，模型的歌词续写有着不错的表现。GANSynth模型以GAN为基础，优化对数量级和瞬时频率的频率分辨率建模，保证音频的高保真和局部相干，使生成旋律更趋向平滑和结构一致。

本课题用于模型训练的数据集因预处理筛选而不够充足，且基于硬件原因模型训练花费时间较长，使得模型的歌词生成效果未能达到最优。由于歌词生成和旋律生成模型不同且分开训练，歌词和旋律在最终结果上没有实现有效结合。未来需要添加更多有效歌词和旋律数据以完善模型，探究歌词与旋律之间的深层特征，在实现AI音乐中歌词和旋律融合对应上更进一步。