无线智能LED系统中的音乐特效设计

王 乐，陈科明，綦 航，江 倩

(杭州电子科技大学电子信息学院，浙江 杭州 310018)

无线智能LED系统中的音乐特效设计

王 乐，陈科明，綦 航，江 倩

(杭州电子科技大学电子信息学院，浙江 杭州 310018)

为了使灯光系统达到视觉和听觉相协调的良好律动感，设计了无线智能的LED系统.首先对音频特征进行预提取，建立声音、音调与颜色HSV匹配模型，并根据无线控制的响应延时动态地调整指令发送时间，实现了音乐和灯光的同步变化.在某公司的智能照明系统的实际应用中，取得了良好的效果，初步实现产业化.

特征分析；声光匹配；响应同步；节奏跟随

0 引 言

LED的音乐特效越来越受大众喜爱.但是由于其制作成本高，所以，目前主要用于大型演出场景.低成本、简单易用的家用音乐特效LED系统能使大众感受到技术创新带来的乐趣，具有广阔的市场前景.近年来，音乐的听觉和视觉结合的应用越来越广泛，LED的音乐特效是音乐可视化中的典型应用，诸如智能家居和智能情景照明等领域都有了广泛应用.随着物联网时代的到来，智能照明已经实现了控制端与照明设备分离和无线控制[1].当前无线彩灯解决方案主要是在播放音乐时捕获音频输出，对输出声音波形进行采样并实时处理获取能量和频率参数，然后定时控制彩灯颜色.现有音乐特效方案在音乐和灯光色彩的匹配处理上缺乏协调性，缺乏对音乐旋律的表现力.本文针对文献[2]中提到的目前彩灯音乐控制器中彩灯颜色与音乐节奏和旋律的视听协调度不够的问题，提出了对音频特征进行预提取，建立了音强、音调与颜色HSV匹配模型，结合音乐节奏特征分析，达到了灯光色彩随音乐旋律而变化的效果，并根据无线控制的响应延时动态调整指令的发送时间，实现了音乐和灯光的同步变化.

1 音乐声学特征与彩灯颜色的关联设计

1.1 音乐声学特征和色彩转换关系

音乐基本特性与彩灯颜色之间的映射关系如图1所示.

图1 音乐基本声学特征与彩灯颜色值的映射示意图

实现音乐和颜色的关联，需要建立多维度的关系关联[3].本文首先建立声音和颜色的维度之间的对应关系.其中响度对应亮度，音高对应色域，音色对应饱和度.对于HSV颜色空间，包括3个参数:色调(H)，饱和度(S)，亮度(V).因为本设计中使用的LED彩灯的色彩是RGB三原色叠加形成的，因此获取到HSV值后，需要将HSV值转换为RGB值，再将控制命令数据发送至彩灯节点.

1.2 音强与彩灯亮度映射关系

在HSV颜色空间中，V分量表示亮度，表现的是颜色的明亮程度.通过彩灯的亮度来表现音乐的音强，节奏的起伏伴随着音强的变化，使用彩灯亮度来反映可以获得较好的感官效果.彩灯颜色与声音振幅的关系式为：

(1)

式中，V为颜色的亮度，取值范围为0～1.Amp为量化后波形振幅，Amax为该音频振幅量化的最大值.通常MP3音频量化精度为16位，即最大值Amax为216-1，波形的振幅越大，灯光则越明亮.

1.3 音高特征与色域的分布关系

音高在声乐中又称为音调，音调值用Mel频率表示，文献[4]中提出的Mel频率与频率的关系为：

(2)

式中，f为幅度谱中幅度最大的频率分量，本文中以该频率转换得到的Mel频率来表征声音的音调.通过快速傅里叶变换的方法来获取音频波形信号的频谱，从中提取幅度谱，然后取幅值最大的频率作为特征基频，将该基频转化为Mel频率.

(3)

式中，H为色调，fmax表示幅频特性中幅度最大的分量对应的频率，fM为频率上限，其值为2 kHz.乐音的基音频率范围通常为60～2 000 Hz之间.音调越高，颜色越趋向暖色调，反之，颜色趋向冷色调.

1.4 彩灯色彩饱和度处理

语音信号中音色可以理解为复合音不同频率分量的形态，频率方式分布的能量决定了语音的音色[5]，音色由泛音频率的强度分布情况决定.本文建立了音色与彩灯颜色饱和度的映射关系.对于音乐信号，获取其幅频特性，其基音频率为f0，对应幅度为A0,设第n阶泛音频率为fn,对应幅度为An,则饱和度S为

(4)

实验过程中发现饱和度低于0.7时彩灯颜色太淡，无法获得较好的变换效果，故将饱和度S最小值设置为0.7，保证颜色的丰富性和观赏性.

2 音乐彩灯响应延时分析和优化

在系统运行过程中，数据处理和网络传输以及彩灯渐变响应都会造成一定的延时.设短时波形采样和短时数据分析导致的延时为Δt0，网络传输和相应耗时为Δt1，节点响应和彩灯颜色渐变过渡耗时为Δt2，彩灯响应的总延时Δt的计算公式如下：

Δt=Δt0+Δt1+Δt2

(5)

本文采取音频数据处理与播放异步进行的方式，在音乐开始播放之前，先判断网络响应延时，然后计算出彩灯总的响应延时，根据总的响应延时调整发送数据和音乐播放之间的时间差，由于本文中节奏提取最小时间间隔为50ms,因此进行延时时间差补偿后，彩灯响应和音乐播放时间点之间的误差可以控制在50ms以内.

3 音乐特效的实现

无线智能LED系统由移动客户端、智能网关和节点等组成，系统的基本框架如图2所示.本次的设计背景为无线智能LED系统，控制端程序基于Android平台，通过手机设备连接无线局域网或者互联网连接智能网关设备，从而控制网关设备下的节点，从而控制彩灯实现开关，亮度和色彩的调节.音乐彩灯基本原理是通过对音频信号进行处理，然后获取其中一些参数的变化，使彩灯产生相应变化.

图2 无线智能LED系统示意图

目前应用多的彩灯只是按预先设定程序进行变化，缺少音乐节奏变化[6].本次设计的目的就是实现一个基于Android平台的无线智能彩灯音乐特效控制器，通过APP应用来实现彩灯远程控制.通过播放音乐与音频分析同时进行的方式，实现音乐播放过程中的实时节奏跟随，并通过彩灯颜色随音乐音高特征变化而变化，使彩灯在音乐播放过程中的颜色变化伴随音乐的旋律而律动.特效系统流程框图如图3所示.

图3 音乐彩灯特效系统流程框图

目前音乐的分析主要是通过音频内容进行分析[7].本文中音乐的分析选择音频文件并装载到解码器，将解码得到音频的PCM数据存入缓冲队列，对PCM波形进行分段处理，每一小段长度50ms，对每一小段进行短时分析，计算短时能量和幅度谱，获取每小段的能量和音高等参数.将处理后的数据存入特征数据缓冲队列，同时将PCM数据写入到音频设备进行播放.解码的进度要超前于播放的进度，因此播放时的数据分析可以使用到歌曲还未播放到的部分，如此便实现了音频的预读和分析.在音乐播放开始前，检测网络响应延时，根据延时设置时间补偿.在播放过程中，每50ms获取一次当前播放的时间进度，从特征数据队列中获取当前短时波形的特征参数.

乐曲是一系列音乐事件的组合，在PCM编码的信号中，每个音乐事件都有一个波峰与之相对应[8].波峰对应信号短时能量极大值点，此时间点也是音乐的节拍点.设播放进度对应第n小段波形x(n)，文献[9]中提出的信号短时能量En定义如下：

(6)

音乐节奏的判断采用极值法.若En为极大值点,该帧的能量分别大于其前三帧和后两帧的能量，则将第n点处判断为节拍点，此时根据音乐特征参数同时改变彩灯的颜色和亮度.若En为极小值点,该帧的能量分别小于其前三帧和后一帧的能量，则将第n点处判断为节奏周期端点，此时根据当前信号短时能量改变彩灯的亮度.由于节拍点和节奏端点交替存在，节拍表现为高亮度，节奏端点表现为低亮度.此时彩灯的明暗交替随音乐节奏强弱同步变化.

4 实验结果分析

采用钢琴曲《KissTheRain》进行节奏提取测试.图4为该段乐曲前15s的PCM信号归一化波形，红色竖线标示节奏周期端点.

图4 《Kiss The Rain》PCM波形和节奏周期示意图

将PCM信号按照不同的时长进行分帧，然后进行节奏判断，比较不同分帧帧长时节奏周期强拍点和端点提取的准确率.不同时间间隔分段节奏提取的结果比较如表1所示.帧长为25ms时，节拍点误判断现象比较严重.帧长为100ms时，节拍点漏判的现象较为严重，相较而言，帧长为50ms时，节拍周期判断取得了较好的效果.

表1 不同分帧帧长的节奏性能比较

表2所示即为基于节奏跟随的彩灯颜色改变与定时改变彩灯颜色方式的比较.对于定时改变彩灯颜色的方法，时间间隔的设置会导致效果差异.时间间隔越短，彩灯颜色改变越频繁，彩灯闪烁也就越明显；时间间隔越长，则会导致彩灯颜色变化频率降低，对音乐能量起伏的表现效果也就越差.

表2 不同发送间隔方式下命令帧数比较

相较于定时改变彩灯颜色的方法，本文中提出的节奏跟随的方式大大减少了发送命令数据改变彩灯颜色的次数，减少了彩灯颜色闪烁的现象，减轻了网络负载,同时获得了良好的视听效果.

5 结束语

本文提出了一种基于声音基本声学特征和HSV颜色空间的声光匹配算法，结合节奏提取算法以及动态时延调整，实现了较好的音乐情景灯效果.相比于当前市场上其他方案，具有节奏感强、操作灵活简捷、色彩变化柔和、网络负载低等优点，适用于家庭、聚会和小型舞台表演等场合，具有一定的市场前景.

[1]LLANORA.LightingInTheAgeOfIoT[J].ResidentialSystems, 2015,16(8):1-5.

[2]NANNIL,COSTAYMG,LUMINIA,etal.Combiningvisualandacousticfeaturesformusicgenreclassification[J].ExpertSystemswithApplications, 2016,45:108-117.

[3]张聪聪.音乐和颜色的情绪性关联[D].上海:华东师范大学,2014.

[4]俞一彪,袁冬梅,薛峰.一种适于说话人识别的非线性频率尺度变换[J].声学学报,2008,33(5):450-455.

[5]刘国荣.通过音色特征识别话者的方法与分析[J].河南警察学院学报,2010,19(5):118-120.

[6]彭文雄,侯世英,卓娅,等.音乐彩灯控制器的设计与实现[J].电气电子教学学报,2012(Z1):135-138.

[7]张一彬,周杰,边肇祺,等.基于内容的音频与音乐分析综述[J].计算机学报,2007,30(5):712-728.

[8]胡建建,曾培峰,唐莉萍,等.基于高斯低通滤波的音乐节拍提取[J].东华大学学报(自然科学版),2011,37(1):72-75.

[9]刘卫.一种基于谱分析的音乐节奏识别算法[J].青海师范大学学报(自然科学版),2008(3):15-17.

Design of Music-light Effect in Wireless Smart LED Lighting System

WANG Le, CHEN Keming, QI Hang, JIANG Qian

(SchoolofElectronicInformation,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

The LED lighting system with music effects is more and more popular. To achieve a good rhythm of vision with audition, this paper proposed an algorithm of music effects. The audio characteristics were firstly analyzed. Then a model was designed to match the HSV color to the volume and tone of the sound. And the time of control was dynamically adjusted according to the response delay dynamically. This design presented achieved the synchronized change of music and the light color. The method has been adopted in the intelligent lighting system in one company. It achieved a good performance, and realized the industrialization.

feature analysis; acoustic-optic matching; response synchronization; rhythm following

10.13954/j.cnki.hdu.2017.03.004

2016-09-14

王乐(1990-)，男，湖北武汉人，硕士研究生，物联网技术应用.通信作者:陈科明副教授，E-mail:keming106@163.com.

TN911

A

1001-9146(2017)03-0015-05