基于物联网技术的音乐特征识别系统设计

陈浩 吴煜祺

摘  要： 由于受到音乐专业性强、乐理知识复杂、变化多样等因素影响，导致音乐特征识别难度较大，为此设计基于物联网技术的音乐特征识别系统。系统物理感知层在不同位置布设声音传感器采集音乐原始信号，采用TMS320VC5402数字信号处理器展开音乐信号分析处理;网络传输层将处理完成音乐信号，传输至系统应用层中的音乐信号数据库中;应用层中的音乐特征分析模块，采用动态时间规整算法，获取测试模板和参考模板间最大相似度，实现音乐信号特征识别，并依据识别结果识别音乐曲式和音乐情感对应音乐特征内容。实验结果表明，该系统运行稳定，可采集到高音质音乐信号，且能正确识别音乐曲式特征和情感特征。

关键词： 音乐特征识别; 物联网; 系统设计; 信号采集; 信号处理; 实验分析

中图分类号： TN912.34?34; TP311.13            文献标识码： A                     文章编号： 1004?373X（2020）10?0043?03

Design of music feature recognition system based on Internet of Things technology

CHEN Hao1， WU Yuqi2

（1. Shiyuan College of Nanning Normal University， Nanning 530226， China; 2. Jiaxing University Nanhu College， Jiaxing 314001， China）

Abstract： In allusion to the influence of strong music specialization， complex music theory knowledge， various changes and other factors， it is difficult to recognize the music features. Therefore， a music feature recognition system based on Internet of Things technology is designed. The sound sensors are equipped at the different locations in the physical perception layer of the system to collect the original music signal. The music signals are analyzed and processed by the digital signal processor TMS320VC5402. The processed music signals are transmitted to the music signal database in the application layer of the system through network transmission layer.  The maximum similarity between the testing template and the reference template is obtained with the music feature analysis module in the application layer and by means of the dynamic time warping algorithm， so as to realize the music signal feature recognition， and identify  the musical form and musical emotion corresponding to the music feature contents according to the recognition results. The experimental results show that the system runs steadily， can collect high?quality music signals， and can identify the musical form features and emotional features correctly.

Keywords： music feature recognition; Internet of Things; system design; signal acquisition; signal processing; experimental analysis

0  引  言

音乐特征识别是基于语音识别发展艺术，通过音频信号获取音乐内容，进一步得到音乐曲式、情感等音乐特征[1]。音乐特征识别的研究涉及到许多方面，如心理声学、乐器分析及乐理知识等。目前音乐识别系统未能大范围应用，是由于缺少有利于提升性能信息的系统整体框架设计。物联网技术的出现使音乐特征识别系统的实现成为可能[2]。物联网技术通过有线/无线网络间信息实时传递，实现音乐信号的智能化采集、处理、分析等，其具有感知全面、传递可靠、方便快捷等优势[3]。设计基于物联网技术的音乐特征识别系统，利用物联网技术实现音乐信号的感知、传输及识别。

1  音乐特征识别系统总体结构

基于物联网技术的音乐特征识别系统主要由物理感知层、网络传输层以及系统应用层共同构成，系统总体结构框图如图1所示[4]。

物理感知层主要包括音乐信号采集模块和音乐信号处理模块[5]。其中音乐信号采集模块通过布设在不同位置的声音传感器采集系统识别所需音乐信号，并将采集到的音乐信号传输到音乐信号处理模块，该模块利用DSP处理器处理音乐信号。网络传输层通过无线网络通信传输方式将物理感知层采集并处理完成的数据传输至系统应用层。系统应用层汇集音乐信号形成音乐信号数据库，经音乐特征分析模块中的音乐信号特征提取及特征识别分类后，通过LED显示音乐特征识别结果[6]。

1.1  音乐信号采集模块的设计

音乐信号采集模块包括音乐采集子模块和语音编码子模块。音乐采集子模块由安装在不同位置的声音传感器组成，负责采集原始音乐信号。声音传感器内置对声音敏感的电容式驻极体话筒，经A/D转换器转换后传输到语音编码子模块。语音编码子模块主要负责原始音乐信号的高保真无损压缩，将音乐信号转换为可传输的数据信息，然后将其传输到音乐信号处理模块[7]。

1.2  音乐信号处理模块设计

音乐信号处理模块由DSP处理器完成设计[8]。该模块采用一款适用于语音信号处理的型号为TMS320VC5402DSP的定点DSP芯片，该DSP芯片运行功耗低，运行速度快，携带2个MCBSPS（多通道缓冲串口），能够连接CODEC（编译解码器）实现语音输入，具备8位增强型主机并行口（HPI8），与主机建立通信连接，内含4 KB ROM及16 KB DARAM。其结构如图2所示。

TMS320VC5402内部功能单元如下：

内部总线结构由4条地址总线和4条程序/数据总线构成8条16位总线。特殊功能寄存器含有用于控制、管理、访问各功能单元的26个特殊功能寄存器。定时器和中断系统自身携带4位预定标的16位定时器。TMS320VC5402DSP存储器基本空间大小为192 KB，程序空间、数据空间、I/O空间大小各占[13]，其中程序存储空间可拓展至1 MB。TMS320VC5402DSP有BIO和XF两个通用I/O端口。此外访问I/O空间可以扩展I/O端口，并且TMS320VC54xDSP的HPI以及MCBSP也能够配置成通用I/O端口。TMS320VC5402的MCBSP能够在SPI方式下运行，有利于同串行A/D、串行E2PROM接口。主机口为DSP与外部处理器连接供应并行接口，便于DSP与外部处理器间的信息交流。

2  音乐特征识别

2.1  音乐信号特征识别

在系统应用层中的音乐特征分析模块采用动态时间规整（DTW）算法[9]，通过比较音乐特征测试模板和参考模板间欧氏距离识别音乐信号特征。音乐特征测试模板、参考模板的语音帧遵循DTW算法搜索路径展开音乐特征匹配。假设参考模板和测试模板分别表示为：

[S={S（1），S（2），S（m），S（M）}]

[P={P（1），P（2），P（n），P（N）}]

式中：[M，N]分别为参考模板和测试模板内包含的语音帧总数;[m，n]分别为[S，P]中任意帧号。欧氏距离的计算方法如下：

[l[P（n），S（m）]=1kr=1K（Hr-H′r）2]     （1）

式中，[H′，H]分别表示[S，P]的元素。

DTW算法通过搜寻并标记最优局部路径，并沿此路径累计局部距离获取全局累计距离，获取最优模板匹配相似度，将此路径作为最优路径。

假设路径依次经过的格点分别为[（n1，m1）]，…，[（ni，mi）]，[（nN，mM）]，根据端点约束条件可得到[（n1，m1）=（1，1）]，[（nN，mM）=（N，M）]，為符合斜率约束，斜率选择区间为0.5～2.5。

从局部搜索角度出发，假设最佳路径经过的格点[（ni，mi）]的上一个格点为[（ni-1，mi）]、[（ni-1，mi-1）]以及[（ni-1，mi-2）]三者之一，假设始发点距离这三个格点的部分累计距离分别为[L[（ni-1，mi）]]，[L[（ni-1，mi-1）]]和[L[（ni-1，mi-2）]]，则[（ni，mi）]挑选部分累计距离最小格点继续前进，以此类推。最终路径累计距离如下：

[L[（ni，mi）]=l[T（ni，R（mi））]+L[（ni-1，mi-1）]]    （2）

故最小累计距离就是测试模板和参考模板的最大相似度，即音乐信号特征识别结果。

2.2  音乐特征内容识别

2.2.1  音乐曲式特征提取

音乐旋律一般包括两个相近乐句，为分析音乐曲式结构采用搜索相近旋律方法，并通过初步识别、重点识别、补充识别三步识别法提升搜索效率和精确度，同时兼顾音乐曲式的节奏与和声特点[10]。

1） 依照节奏和调性初步识别

依照音乐节奏和调性特征初步划分整首音乐，缩小范围，为重点识别提供基础，增加搜索效率。

2） 通过旋律搜索重点识别

依照音乐特点采用3步假设进一步增加相近旋律搜索效率。

假设一：16个小节组成一个乐句。该假设广泛应用于音乐结构研究中，经检验具备正确性。

假设二：乐句重点部分为前4个小节。该假设采用少量音符表征乐句，且假设具备正确性。

假设三：单簧管、小提琴、长笛为众多乐器中演奏主旋律可能性最大乐器。该假设有利于快速寻求主旋律音色，是通过旋律搜索重点识别的前提。

基于3步假设，采用树状结构记录旋律整体轮廓，完成相似旋律搜索。树状结构包括4层：第1层为一段旋律，由16个小节组成;第2 层为旋律前4个小节;第3层为每小节的3个正拍;第4层为各小节正拍和半拍。树状结构节奏为[34]拍，主要功能为记录音乐相对音高。

3） 基于和声特征补充识别

音乐经过初步识别和重点识别之后，可提取到音乐曲式特征，但也会存在例外[11]。因此通过终止一个音乐结构和乐思的和声补充识别曲式结构，提升搜索精确度。

2.2.2  音乐情感特征提取

音乐曲式特征提取后，音乐被分割成若干个小乐段。综合分析每个乐段的速度、旋律、音响等特征，通过模糊分类器提取其中情感特征。最后依照情感结构合理形容音乐情感特征。

3  实验分析

采用Visual C++在Windows 2010平台上模拟本文系统原型验证本文系统的有效性。系统声音传感器收集到某监测区域中3个不同地点的音乐信号如图3所示。从图3可以看出，系统采集到的音乐信号曲线平滑，没有毛刺且未出现信号中断情况，表明系统运行稳定，采集到的音乐信号音质较好。依据图3采集的音乐信号，采用本文系统识别音乐特征的结果如表1所示。

分析表1可知，本文系统可以正确识别出音乐的曲式特征和情感特征，在识别范围内的音乐特征识别率可达100%。

4  结  论

本文设计基于物联网技术的音乐特征识别系统，系统中的语音信号采集模块实现不同来源音乐信号采集，并设置语音编码子模块，获取高保真无损压缩原始音乐信号等，可提升系统运行速度，降低能耗，极大地提高了音乐特征识别的精度。

参考文献

[1] 胡昭华，余媛媛.深度卷积神经网络在音乐風格识别中的应用[J].小型微型计算机系统，2018，39（9）：1932?1936.

[2] 张善文，黄文准，尤著宏.基于物联网和深度卷积神经网络的冬枣病害识别方法[J].浙江农业学报，2017，29（11）：1868?1874.

[3] 赵巧.基于物联网的农作物试验基地监控管理系统设计[J].农机化研究，2019，41（1）：222?225.

[4] 钱承山，毛海强，张永宏，等.基于物联网技术的校园用电监控系统设计[J].电子器件，2017，40（5）：1266?1271.

[5] 冯勇，蒋高明，吴志明，等.基于物联网的经编制造执行系统关键技术[J].纺织学报，2018，39（2）：144?149.

[6] 刘彪，黄蓉蓉，林和，等.基于卷积神经网络的盲文音乐识别研究[J].智能系统学报，2019，14（1）：190?197.

[7] 王蒙蒙，关欣，李锵.基于鲁棒音阶特征和测度学习SVM的音乐和弦识别[J].信号处理，2017，33（7）：943?952.

[8] 苗静，杨帆，潘国峰.嵌入式智能音乐播放系统的设计与实现[J].声学技术，2017，36（4）：357?362.

[9] 杜威，林浒，孙建伟，等.一种基于分层结构的音乐自动分类方法[J].小型微型计算机系统，2018，39（5）：888?892.

[10] 肖晓红，张懿，刘冬生，等.基于隐马尔可夫模型的音乐分类[J].计算机工程与应用，2017，53（16）：138?143.

[11] 杨晓宇，黄浩，王浩华.基于改进的T型关联度在音乐分类中的应用[J].数学的实践与认识，2017，47（20）：155?163.