钢琴踏板动作与技巧的测量、识别与可视化研究

文 〔中〕梁贝茨、〔匈〕乔治·法泽卡斯、〔英〕马克·桑德勒著，康 啸译

一、引 言

踏板技术是富有表现力的钢琴演奏中最为关键的技巧。它不仅包括作曲家标注在乐谱上的踏板落起符号，也是钢琴家音乐表现的相关动作，如浅（部分）踏板技术。

现代钢琴通常有三个踏板，最常用的是延音踏板。使用延音踏板构成钢琴演奏的主要音乐动作之一，通过微妙的音响共鸣，创造不同的艺术表现。延音踏板抬起所有的止音器，使得琴弦能够与鸣响的音符一起，自由地发出共振。考虑到从音频信号方面检测踏板细微变化的难度极高，①W.Goebl, S.Dixon, G. De Poli, et al., "Sense in Expressive Music Performance: Data Acquisition, Computational Studies, and Models." Sound to Sense - Sense to Sound: A State of the Art in Sound and Music Computing, edited by Pietro Polotti & Davide Rocchesso, Logos Verlag, 2008, pp.195-242.我们建议：（1）使用非侵入式测量系统在钢琴演奏中感知踏板动作；（2）设计一种可靠的识别踏板技术的方法；（3）可视化结果表示延音踏板的落起时间和半落的使用，例如，踏板的深度或程度。正如我们注意到的，踏板动作在乐谱上没有一致的标记，有一些重要的主观踏板变化与表现力有关。因此，这项研究将有利于多种应用程序的使用，包括自动化音乐转录与钢琴教学法。

二、背 景

（一）钢琴踏板技术

踏板自18 世纪以来就存在于钢琴中，克里斯托福里（Cristofori）是引进现代软踏板的先驱。19 世纪末，钢琴设计师们用几十年时间才明确三个踏板的标准。指示踏板技术的符号，也在几个世纪以来逐渐演化成为规范，这也反映了踏板本身的发展。肖邦和李斯特等作曲家在他们的作品中积极地使用踏板，②D. Rowland, A History of Pianoforte Pedalling, Cambridge University Press, 2004.而德彪西却很少提到踏板，尽管踏板的使用对于精细阐释他的音乐非常重要。③S. P. Rosenblum, "Pedaling the Piano: A Brief Survey from the Eighteenth Century to Present." Performance Practice Review, vol. 6, no. 2, 1993, p.8.专家们一致认为，即使提供了踏板标记，在同一段钢琴演奏中踩踏板也有许多不同的方式。④E. Chew, A. R. Franc¸ois, "MuSA. RT and the Pedal: The Role of the Sustain Pedal in Clarifying Tonal Structure." Proceedings of the 10th International Conference on Music Perception and Cognition, 2008.这是由表演者的速度、力度、声部平衡，以及演出的环境所决定的。⑤同注③。

踏板技术主要体现在两个方面：时间和深度。⑥同注②。这也是延音踏板的独特之处。延音踏板有三个主要技术涉及持续时间和对音符的效果：（1）当踏板与按键同时落下时，就会有节奏地踩踏板。这种技术支持乐句节拍重音（metrical accentuation），它是古典时期（大致从18 世纪晚期延伸到19 世纪中期）钢琴表演的一个重要方面。按下琴键之后立即踩踏板被称为切分或连奏踏板（syncopated or legato pedaling）。（2）这 使得演奏者能够在无法连奏的情况下拥有“额外的手指”。（3）预先踏板技术最早出现在20 世纪，只能用于休止或音符鸣响之前，这种技术用于在声音开始时能产生更大的共振。除了踏板时间的变化，专业钢琴家还会使用浅踏板技术，这些技术会随着踏板的深度而变化。除了全踏板，施纳贝尔 （Schnabel）定义了另外三种踏板级别，分别为四分之一踏板、二分之一踏板和四分之三踏板。⑦K. U. Schnabel, Modern Technique of the Pedal: A Piano Pedal Study, Mills Music, 1954.需要注意的是，这些术语，既不是指踏板的特定位置，也不是指止音器的特定位置，而是指按键释放后剩余的声音量。产生理想声音效果浅踏板的位置，在不同钢琴甚至同一架钢琴的不同条件下会产生变化。

总之，在踏板的帮助下，钢琴家可以加大曲调的变化。踏板落起的时间可以在乐谱上标注。但是，作曲标记符号并未涉及上述的浅踏板技术。⑧D. R. Sinn, Playing Beyond the Notes: A Pianist's Guide to Musical Interpretation, Oxford University Press, 2013.此外，尽管存在一些涉及踏板对于单独音符声学效果的研究，⑨H.-M. Lehtonen, H. Penttinen, et al., "Analysis and Modeling of Piano Sustain-Pedal Effects." The Journal of the Acoustical Society of America, vol. 122, no. 3, 2007, pp. 1787–1797; H.-M. Lehtonen, A. Askenfelt, V. Välimäki, "Analysis of the Part-Pedaling Effect in the Piano." The Journal of the Acoustical Society of America, vol. 126, no. 2, 2009, pp. EL49–EL54.但踏板作为传达不同音色细微差别的工具作用，还没有得到充分和定量的探索。

（二）相关研究

关于钢琴演奏中姿势和动作的研究已是汗牛充栋。截至目前，人们最关注的是手部姿势和动作，从奥特曼（Ortmann）的早期研究开始，⑩O. Ortmann, The Physical Basis of Piano Touch and Tone, London: Kegan Paul, Trench, Trubner & Co., 1925.他首先通过物理研究探讨了钢琴的“触键与曲调的神秘”，广泛回顾了钢琴触键研究。⑪J. MacRitchie, "The Art and Science behind Piano Touch: A Review Connecting Multi-Disciplinary Literature." Musicae Scientiae, vol. 19, no. 2, 2015, pp. 171–190.同时，通过感知手臂的运动和反馈，提升钢琴学生的手势感知能力，将手臂姿势应用于钢琴教学中。⑫A. Hadjakos, E. Aitenbichler, and M. Muhlhauser, "The Elbow Piano: Sonification of Piano Playing Movements." Proceedings of the 8th International Conference on New Interfaces for Musical Expression （NIME）, 2008, pp.285–288.然而，在文献中并没有发现关于钢琴踏板动作的正式研究。

在数据采集方面，为了获得综合性能参数，已经出现了几种多模态记录的测量系统。例如，雅马哈自动演奏钢琴与贝森朵夫钢琴自动演奏技术（Yamaha Disklavier and Bösendorfer CEUS）钢琴，能够记录连续的踏板位置，这被Bernays 和Traube 用作研究音色细微差别的性能特征之一。⑬M. Bernays, C. Traube, "Investigating Pianists' Individuality in the Performance of Five Timbral Nuances through Patterns of Articulation, Touch, Dynamics, and Pedaling." Frontiers in Psychology, vol. 5, no. 157, 2014.然而，这些工具相当昂贵，且不易移动，仍然是广泛适应的障碍。为了克服这些问题，Moog PianoBar 被开发为一种方便实用的选件，可以为任何原声钢琴添加MIDI 录制功能。⑭PianoBar, "Products of Interest." Computer Music Journal, vol. 29, no.1, 2005, pp.104–114.然而，它的踏板感应能力仅限于提供踏板落起信息的位置。McPherson 和Kim对piano obar 进行了改进，以提供连续的位置信息流，但迄今为止很少有详细的研究使用踏板数据。⑮A. McPherson, Y. Kim, "Piano Technique as a Case Study in Expressive Gestural Interaction." Music and Human-Computer Interaction, Springer, 2013, pp.123–138.这些问题促使我们开发一个专用的、便携的、非侵入性的系统来测量连续的踏板动作，以便我们进一步分析。我们的目标是更好地理解踏板在钢琴演奏中如何施展表现力，并帮助细致捕捉和转录钢琴表演。

在分析音乐表演中富有表现力的动作特征领域中，机器学习（machine learning）已经成为一种常用的方法。这主要是因为统计模型处理不精确观察的灵活性，和对演奏家或阐释者个体差异之间的适应能力，由于其潜在的概率表示信号数据，或者是学习能力和利用技术之间的依赖关系。⑯B. Caramiaux, A. Tanaka, "Machine Learning of Musical Gestures." Proceedings of the 13th International Conference on New Interfaces for Musical Expression （NIME）, 2013, pp. 513–518.例如，Van Zandt-Escobar 等人开发了PiaF，根据一组给定的姿势参数提取钢琴家演奏中的变化，估计的变化随后被用来操纵音频效果和合成过程。然而，在这项或其他相关研究中，踏板技术并没有被认为是演奏姿势感知的一部分，更不用说为用户提供直观的反馈了。

本文所采取的方法遵循上述思路，但重点是对钢琴踏板技术的测量和识别。我们的测量系统，能够以高采样率和分辨率同步记录踏板动作和钢琴声音，并能够用于一般声学钢琴。利用系统采集的传感器数据，首先利用信号处理技术检测延音踏板落起时间。基于之前讨论的不同假设，提出了两种机器学习方法（SVM 和HMM）来对每个踏板起落之间距离进行分类。我们专注于四种已知的踏板技术：四分之一踏板、二分之一踏板、四分之三踏板和全踏板。基于SVM 的方法获得了较好的识别结果，在我们的例子中，该方法的性能优于HMM。

最后，在一个基于音频的分数跟踪系统中演示了所开发的计算方法，扩展了我们标记踏板的符号。这些标记在我们的应用中实现了可视化，这在音乐学、表演研究或钢琴教学中可能发挥效用。本文还讨论了在基于音频的踏板识别环境下，使用我们的数据采集系统创建的数据集的可能用途。

三、测量系统

这里描述了一个基于我们之前工作的新测量系统，用于捕捉踏板上的动作。⑰B. Liang, G. Fazekas, et al., "Piano Pedaller: A Measurement System for Classification and Visualisation of Piano Pedalling Techniques." Proceedings of the 17th International Conference on New Interfaces for Musical Expression （NIME）, 2017, pp. 325–329.图1 是我们系统的示意图，包括一个传感器和一个采集踏板深度数据的电路系统，以及一个记录器和一台便携式单板计算机，可以同时采集两类数据源。

采用近场光学反射率（反射型微型光电测量仪）传感器（Omron EESY1200）测量连续的踏板位置。这包括一个紧凑封装的发光二极管（LED）和一个光电晶体管。传感器安装在踏板轴承块中，向下指向支撑踏板。这种配置避免了对钢琴家的干扰。选择这种光学传感器的主要考虑之一是，其响应曲线在最佳传感距离（0.7 mm到5 mm）内是单向的。当延音踏板被踩下时，踏板与传感器的距离增加，踏板反射的传感器发射器投射的光束更少，从而减少到达探测器的光能量。然而，当踏板太接近传感器时，电流会下降。通过标定程序，保证测量利用传感器的线性区域，并保持在最佳传感范围内。然后，通过定制的印刷电路板放大传感器的输出电压，并将其缩放到合适的范围，该电路板采用了McPherson 论文⑱A. McPherson, "Portable Measurement and Mapping of Continuous Piano Gesture." Proceedings of the 13th International Conference on New Interfaces for Musical Expression （NIME）, 2013, pp. 152–157.中描述的电路修改版本。另一个考虑因素是被测物体的反射率。一个可拆卸的白色贴纸贴在延音踏板的顶部，以反射足够的光，使测量稳定。在这种配置下，电路的输出电压与入射光成正比，大致与踏板传感器距离的平方成反比。

然后利用基于BeagleBone Black 单板计算机的开源嵌入式系统Bela 的模拟输入，⑲http://bela.io以22.05 kHz 采样率记录电路输出。⑳A. McPherson, V. Zappi, "An Environment for Submillisecond-Latency Audio and Sensor Processing on BeagleBone Black." presented at the 138th Convention of the Audio Engineering Society （2015 May）, convention paper 9331.我们选择使用这个系统，是因为同步捕获音频和传感器数据需要高采样率和分辨率。Bela平台提供立体声音频输入和输出，加上几个I/O 通道，带有16 位模数转换器（ADC）和16 位数字模拟转换器（DAC），用于连接传感器和/或执行器。它结合了嵌入式Linux 系统的资源和优势，以及只有专用数字信号处理芯片和微控制器才能提供的性能和时间保证。因此，Bela 将音频处理和传感器连接集成为一个高性能包，供我们使用。这是选择Bela 的主要原因，而不是其他混合微控制器加计算机系统，这些系统通常会限制传感器的带宽，并可能在传感器和音频样本之间产生抖动。因此，使用我们的系统，可以在录音机上以44.1 kHz的高质量同时录制钢琴声音，并将其输入到Bela（如图1 所示）。最后，传感器和音频数据都是用同一个主时钟捕获的，并登录存储到Bela 的内存中。

四、数据库建设

上述测量系统，被安装在位于伦敦玛利皇后大学MAT 工作室的雅马哈小型三角钢琴的延音踏板上。我们选取了肖邦钢琴音乐的十个著名片段作为数据集。选择这些作品是因为肖邦作品的表现力，以及肖邦是第一批始终呼吁在钢琴作品中使用踏板的作曲家之一。一位钢琴家被要求用实验者提供的乐谱来演奏这些片段。在肖邦发表的几个版本乐谱中，踏板开始和偏移的时间都有标注。我们采用了大多数出版商都能接受的版本。在这些分数中，踏板标记总是与短语标记一致。当延音踏板被踩下时，建议的踏板深度也被实验员记录下来。这大致符合力度变化和节拍重音，因为当琴键被松开，而延音踏板却保持在深踩的状态时，更多的音符将保持发声。

由于不同的踏板技术在实际演奏中的使用比例可能不相同，因此本研究将不会覆盖全部四种踏板深度级别。因此，在我们录制的音乐片段中，每种踏板技术的实例数量仍然不平衡（见表1）。

根据标注的分数对踏板动作数据逐帧进行标记，得到基本的（标定）真值数据集（a basic ground truth dataset，或译参考标注数据集）。为了评估钢琴家在多大程度上遵循乐谱中的指示，我们计算描述性统计，使数据可视化，来检查它与乐谱的匹配程度。

我们首先将连续使用相同踏板技术标记的帧合并到一个段中。为了表示踏板技术，我们选择使用每段传感器数据的统计汇总，观察到各节段数据均符合正态分布。因此，提取高斯参数来表征每个段中使用的踏板技术。图2 给出了每个踏板实例的参数值。我们可以很好地观察数据中关于踏板标记的聚类，也可以观察到除了二分之一踏板和四分之一踏板之外，聚类几乎是线性可分的。我们还检查了踏板使用与标记的一致性，并证实了钢琴家的演奏在很大程度上与实验员提供的踏板符号是一致的。

图2 由脚踏实例计算高斯参数值的散点图

五、踏板动作识别

根据以上讨论的数据集，我们的任务是识别何时（When）及使用何种（Which）踏板技术。When 是指踏板落起的时间，可以通过信号处理算法检测到；Which 指踏板深度级别。我们的目标是将其分类为四分之一踏板、二分之一踏板、四分之三踏板或全踏板技术。正如我们在之前提到的，钢琴家根据音乐作品和/或表演场地的特点来改变踏板技术。这需要自动适应技术在特定场所或由特定音乐家使用的方式。因此，手动设置阈值来分类踏板级别是低效的。我们决定使用全监督学习方法（supervised learning methods），以数据驱动的方式训练SVM 或HMM 分类器。为此，我们分别使用了Scikit-learn 和Hmmlearn[21]http://hmmlearn.readthedocs.org，以构造SVM 和HMM[22]F. Pedregosa, G. Varoquaux, et al., "Scikit-learn: Machine Learning in Python." Journal of Machine Learning Research, vol. 12, 2011, pp. 2825–2830.。以下，我们将介绍SVM 和HMM，并讨论选择它们作为分类器的基本原理。

（一）检测踏板落起

图3 为分段过程中踏板落起数据的检测。原始动作的价值数据表示延音踏板的位置变化。数值越小，踏板被踩得越深。我们使用Savitzky-Golay 滤波器对原始数据进行平滑处理，它是一种特殊类型的低通滤波器，被广泛用于平滑处理噪声时间序列数据。[23]W. H. Press, B. P. Flannery, et al., Numerical Recipes: The Art of Scientific Computing, AIP, 1987.Savitzky-Golay 滤波器具有保持分布特征（如极大值和极小值）的优点，这些特征常被其他平滑技术（如移动平均或简单的低通滤波）压平。因此，它通常用于处理从传感器采集的时间序列数据，如心电图处理。[24]K. Pandia, S. Ravindran, et al., "Motion Artifact Cancellation to Obtain Heart Sounds from a Single Chest-Worn Accelerometer." Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing （ICASSP）, 2010, pp. 590–593.此外，滤波可以避免信号中的杂散峰，这将导致踏板落起错误检测。利用滤波后的数据，通过与阈值（水平虚线）比较，检测踏板落起时间。该阈值是通过从峰值检测算法中选择最小值来选定的，即最小的峰（用三角形表示）。将数据值越过负斜率阈值的时刻视为开始时间，正斜率表示偏移时间。这样，每个段由开始时间到对应偏移时间之间的数据来定义。例如，图3 中检测到16 个 线段。

图3 踏板起落测量

（二）分类

汇总作为特征，不仅可以减小数据集的大小，提高计算效率，还可以将注意力集中在代表每个踏板使用实例的更高级信息上。作为分类器输入的统计特征，是基于高斯假设进行计算，并由Eq.（1）确定参数的，其中μ是分布的均值，σ是标准差。

图4 分类过程

利用提取的特征分别对SVM 和HMM检测到的踏板动作进行分类。然后，我们使用数据集的一个子集来训练分类器，以便输出踏板技术的标签。标号1——4 对应四分之一踏板、二分之一踏板、四分之三踏板和全踏板技术。踏板位置在一个连续的空间中被测量，踏板动作中离散事件（discrete events）分类与钢琴家的解释是一致的，其更可能有利应用于转录和可视化。与连续踏板深度曲线相比，与已识别的或预期的技术相对应的离散符号（discrete symbols）更易于阅读。其识别结果与音频数据保持同步。最后，将这些作为我们之前讨论的可视化应用程序进行输入。

之所以选择SVM 算法，是因为它最初是为了解决分类问题而设计的，这些问题包括寻找分离两类数据的最大边缘超平面。[25]R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification, Wiley-Interscience, 2000.如果特征空间中的数据不是线性可分的，则可以将其投影到高维空间中，转化为可分问题。在基于SVM 分类中，我们比较了不同内核和参数的支持向量机，以便选择一个具有最佳识别能力的SVM，将提取的汇总统计特征分类到踏板技术中。SVM 本质上是从分析数据的特征中学习最优分类阈值，避免了启发式阈值的使用，也可以解释数据中可能存在的非线性。

第二种方法是HMM。它是一种统计模型，可以用来描述依赖于隐藏变量的可观察事件的演化，而这些隐藏变量不是直接可观察的。[26]L. R. Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition." Proceedings of the IEEE, vol. 77, no. 2, 1989, pp. 257–286.在我们的框架中，观察来自动作数据的特征，隐藏状态是要分四种踏板技术的。肖邦音乐数据集显示出，各个片段之间的踏板深度水平不断在变化。我们假设，学习隐藏状态的转移概率，可以揭示音乐学意义的广泛使用浅踏板技术的表现。HMM 结构被设计成与四种状态完全连接的模型，其状态可以表现为自过渡或过渡到其他三种状态中的任何一种。利用高斯发散训练概率参数。通过寻找与给定观测序列相关联的最优状态序列，实现了基于 HMM 的分类。最可能产生给定观测序列的隐藏状态序列，可以使用维特比译码进行计算。

（三）结果

之前讨论的真值数据集包含踏板深度的标签。利用该数据集进行单组交叉验证，比较分类器的性能。这种方法不同于在音乐信息检索领域应用较为广泛的交叉验证。在“留一法”交叉验证（leave-one-group out）方案中，根据音乐片段对样本进行分组。在需要分类数据的每个音乐片段中，对分类器进行验证，其余的片段构成训练集。图5 为不同内核和参数的SVM 分类器平均F 量度数值。惩罚参数C=1000 的线性核支持向量机得分最高。这在很大程度上证实了我们所使用的特征空间中，大部分零件的踏板数据是线性可分的。采用该SVM 模型，并与HMM 进行了比较。表2为评价的F 量度数值，我们可以看到SVM在每个音乐片段上都优于HMM，而HMM和SVM 的F 量度数值平均分分别为0.801和0.930。

图5 SVM 分类的性能（RBF 和线性）和参数（γ 和C）

表2 SVM 和HMM 的F 量度数值

我们假设HMM 得分较低，是由于它是以一种非判别性方式训练出来的。HMM的参数估计采用最大似然法，利用训练出的集样本，不考虑竞争类。此外，踏板技术的因果关系被另一个踏板技术所遵循，这可能是不必要的，或者当单个踏板事件彼此之间被长时间的偏移相分离时，这种因果关系可能只会增加很少的价值。因此，学习准则与直接提高识别精度的因素无关。虽然这并不允许我们消除踏板技术之间潜在的依赖关系，但是我们的简易HMM模型不能捕获和利用这些依赖关系。利用HMM 和SVM 基于两种学习算法结合的序列识别学习技术，可以对已有的结果进行改进。[27]Y. Altun, I. Tsochantaridis, and T. Hofmann, "Hidden Markov Support Vector Machines," Proceedings of the 20th International Conference on Machine Learning （ICML）, vol. 3, 2003, pp. 3– 10.数据的替代或更丰富的参数化代替高斯参数也可能有利于分类。

为了更详细地了解基于SVM 的分类，我们在图6 中给出了一个混淆矩阵（confusion matrix），其中显示了平均F 测量分数最高的交叉验证结果。可以看出，相邻踏板技术之间的模糊性会导致分类错误。然而，在大多数情况下，踏板技术可以很好地相互区别。为了避免一组出局方案可能导致的潜在过拟合问题，我们使用了另外两种交叉验证策略，即三组出局（LTGO）和10 次迭代划分函数（SSS）来检查结果。为此，测试大小被设置为0.3。SVM 显示，这两种策略的F 测量平均得分分别为0.925和0.945。得分也高于我们测试的一系列常用机器学习技术的结果，包括K 最近邻（KNN）、高斯朴素贝叶斯（GNB）、决策树（DT）和随机森林（RF）几种算法。从LTGO 和SSS 交叉验证得到的这些技术的平均F 测量分数如表3 所示。

六、用 例

（一）可视化

为了演示我们研究的实际应用，我们开发了一个能够在乐谱语境中显示识别结果的钢琴踏板可视化应用程序。它可能在钢琴教学或实践及音乐学的演奏研究方面很实用。我们设计了一个简单的踏板符号系统，它可以显示踏板的深度和时间。应用程序使用了Matlab 中实现的乐谱，[28]S. Wang, S. Ewert, and S. Dixon, "Compensating for Asynchronies between Musical Voices in Score-Performance Alignment." Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing（ICASSP）, 2015, pp.589–593.该乐谱将乐谱与同一首乐曲的录音进行比对。采用动态时间规整（DTW）算法的多维变量处理钢琴旋律与伴奏之间的异步，以获得更好的准直效果。考虑到检测到的踏板落起时间及技术的分类，我们扩展了这一结果，使同一块踏板的识别结果保持一致。系统截图如图7 所示，图形用户界面（GUI）允许用户首先选择一个乐谱。导入录音和相应的踏板识别结果后，点击播放/暂停按钮即可显示。图形用户界面使用以下标记用于显示目的：圆圈显示乐谱中与音频对齐的音符，星形表示踏板复位，方形表示踏板位移。四种不同色彩饱和度的星星表述不同踏板深度。

图7 可视系统屏幕截图

离线完成识别和乐谱对列，因此我们的可视化应用程序允许演奏家查看记录中使用的踏板技术。这可以用于音乐教育，例如，指导学生如何在课后练习中使用踏板。到目前为止，我们只得到了一些非正式的反馈。建议将可视化技术实现为实时应用，使其能够在现场钢琴演奏中使用。这也可以用来触发表演中的其他视觉效果，因为踏板与音乐处理有关。由于Matlab GUI 的延迟相对较高，我们还建议使用另一个平台来实现我们的应用程序。

（二）真值数据集为基础的音频踏板检测

在钢琴上安装传感器不实用的情况下，从录音中检测踏板技术是必要的。我们的测量系统是便携式的，易于安装在任何钢琴上，因此，本研究介绍的技术可以用来捕获真值数据集，以从音频方面开发踏板识别算法。在此基础上，利用钢琴演奏的多模态数据，学习统计模型进行识别。检测系统一经训练，即不需要任何传感器。踏板落起和深度可能只从音频返回。这有助于分析现存的和历史的记录。我们利用有用的声学特性，并以孤立的音符为起点实现了检测。[29]B. Liang, G. Fazekas, and M. Sandler, "Detection of Piano Pedalling Techniques on the Sustain Pedal." presented at the 143rd Convention of the Audio Engineering Society, Oct. 2017, convention paper 9812.我们目前的工作是处理多音音乐背景下的踏板检测。本文提出的测量系统也可以为这项工作提供真值数据。

七、结 语

我们提出了一种利用专用传感器系统测量的姿态数据，来识别延音踏板上钢琴踏板技术的方法。通过信号处理方法，利用起始点和偏移量检测，确定踏板的时间和位置。然后使用基于监督机器学习的分类方法，对所采用的踏板技术进行识别。基于SVM 和HMM 的分类器，对数据进行比较，以评估我们如何将数据分成四分之一踏板、二分之一踏板、四分之三踏板或全踏板技术。在我们的评价中，SVM 优于HMM，F 量度平均值为0.930。通过可视化应用，提供了一个实例，并在一个乐谱跟踪系统中给出了识别结果和相应的钢琴演奏录音。我们还创建了一个数据集，可以为相关研究提供基础事实。未来我们的工作包括开发基于音频的踏板检测算法。本研究的技术有助于提供真值数据集，以测试仅从音频设计的识别算法。目前尚未对可视化系统进行用户评价，这也成为我们今后的工作要点之一。