古琴艺术的数字化与乐谱谱字提取的包围盒算法

陈根方,张云良,章怡雯,黄晓东,范文利,乐 敏

(1.杭州师范大学 信息科学与工程学院，浙江 杭州 310036；2.杭州师范大学 音乐学院，浙江 杭州 310002；3.杭州艺术学校，浙江 杭州 310001；4.丽水中等专业学校，浙江 丽水 323400)

古琴原名“琴”或“七弦琴”，是我国最古老的弹拨乐器，有三千多年的历史[1]，早在《诗经》的“国风·周南”就有“窈窕淑女，琴瑟友之”的记载[2].古琴也是中国古代地位最崇高的乐器，位列“琴棋书画”四艺之首.2003年11月7日，我国古琴艺术入选由联合国教科文组织公布的第二批“人类口头和非物质遗产代表作”[1].

古琴艺术的传承有口头传授、乐谱记录和音频音响3种方式.古琴乐谱采用由唐代曹柔创建的减字谱记谱法，现存大约有150多部古琴乐谱谱集，658首琴曲，3 365首古琴传谱[3]，这些优秀的音乐作品传承千年、影响深远，如由管平湖演奏的古琴曲《高山流水》入选美国宇航局于1977年8月20日和9月5日发射的“旅行者1号”和“旅行者2号”两艘宇宙飞船的镀金唱片《地球之声》[4].

在全球经济一体化、信息数字化、社会地球村的时代，作为我国古老传统艺术的代表——古琴，如何全面地开展数字化研究，是这个数字化时代提出的新要求.但在3 000多首古琴乐曲中，只有不到100首被现代琴家发掘、演奏、传承和出版，还有大量的乐谱没有得到及时的发掘、整理和传播.

1 古琴艺术的数字化

古琴艺术的数字化过程可以从乐谱、音频和文字3个对象出发，着重从6个方向进行研究：古琴音乐资料库的元数据方案建设；古琴乐谱的编码方案；谱字TrueType字库建设与乐谱重建；古琴音色的软音源设计；古琴乐谱的音乐信息识别；古琴音乐活动的数字化描述.

元数据是描述数据属性、提供关于信息资源或数据的一种结构化的数据,是对信息资源的结构化的描述；古琴音乐的元数据方案描述古琴音乐信息资源或数据本身的特征和属性,规定古琴的数字化信息的组织，实现定位、发现、证明、评估、选择等功能.

古琴乐谱编码方案的目的是对古琴乐谱进行数字化研究，依据它的存储结构，结合国际通行的MIDI1.0协议，设计古琴乐谱的编码方案，并保留与MIDI协议的兼容性.编码方案必须具有可扩展性、兼容性、可操作性等特点，应对乐谱的所有构成部分进行详细的描述，并确定乐谱构成的句法结构，利用古琴减字谱规则和中国音乐理论来确定乐谱构成元素的语义结构，形成标准的通用协议.

古琴谱字TrueType字库建设的目的是能还原古琴乐谱手写体的风格特征，使得在古琴乐谱的显示和输出等重建过程中保持原有的字体特征.不同的古琴乐谱要有各自的谱字特征字库，而TrueType Font(简称TTF)采用直线和二次Bezier曲线来描述字符的轮廓,结合了光栅技术和矢量技术的优点，字体可以任意放大、缩小、旋转和变形而不会影响输出质量，非常适合保留古琴乐谱的手写体特征.古琴乐谱的谱字是由若干个有限的基本谱字构成的，利用True Type技术来构造古琴谱字的专用True Type字库，结合古琴乐谱的谱字专用编码方案，极大地方便了古琴乐谱的印刷、打印、存储和传播.

古琴音色的软音源能使古琴音色在现代音乐创作和传播中发挥应有的作用.古琴的音色相对丰富，不同的演奏方法可以产生不同的音响效果，但对古琴音色的数字化研究相对较少.台湾苏文钰教授和他的团队以古琴和琵琶为例，利用人工神经网络和IIR合成技术等对弹拨弦乐器进行了物理模型研究，取得了丰硕的成果[5].这些成果模拟了古琴的音色，而没有产生古琴的音色库——软音源.古琴音色的软音源设计需要有古琴减字谱记谱法的知识、丰富的古琴演奏技巧和软音源制作技术作为知识储备，在此基础上，利用专用的软音源制作软件，来得到古琴音色的软音源.

古琴艺术的音乐活动跨越几千年，流传地域逐步扩大，从中原大地到江南江北、从中国到东亚、从亚洲到全球，现今，在世界各地都有古琴艺术家的活动身影和相应的协会组织，如杭州的西湖琴社、霞影琴馆，美洲大陆的北美琴社等.在古琴音乐的文化活动中，所涉及到的音乐因素有人、乐器、乐曲、乐谱、环境、时间、地域、流派、信息载体等，音乐活动的产物可能包括音响、视频、音频、图片、图像、文字(如新闻，书籍)等资料，这些资料以文字、图片、图像、音频、视频、音序、编码、音源等多媒体数据为数字化载体，存在于分布式数据仓库中，可由用户利用互联网平台阅读、下载和使用.

2 古琴乐谱的音乐信息识别

乐谱的音乐识别技术研究(Optical Music Recognition，简称OMR技术)在国外已经有40多年的历史，目前针对五线谱乐谱的商品化OMR软件系统有：Finale、OMeR、MidiScan、SmartScore、SharpEye Music Reader、PhotoScore等.对于常见的印刷体五线谱乐谱，它们的识别率均在90%以上[6]，最终识别结果可导出为Midi、Niff、Music XML等数字音乐文件.OMR技术中常用的方法有：神经网络[7]，模糊理论[8]，遗传算法[9]，高层领域知识[10]，图文法[11]，数学形态学[12]等等.我国学者对OMR技术的研究与探索工作始于20世纪90年代，但只有为数不多的研究人员在进行相对独立的研究工作，而且研究的内容也是五线谱记谱的乐谱[12].

古琴乐谱音乐信息识别的目的是为了把古琴乐谱中的音乐信息自动转换为现代音乐表现形式，如国际流行的MIDI格式等，利用OMR的成熟技术，通过分析减字谱记谱法的规则、谱字的几何结构特征和句法构造特征、乐谱记录样式、古琴的演奏技法和中国传统音乐理论等，结合图像处理、人工智能、模式识别和计算机技术，设计开发针对特定乐谱或某类乐谱或所有乐谱的翻译转化系统，利用编码方案，把提取的音乐信息存储为数字信息如MIDI等适合在互联网上传播的数字音乐格式，为古琴艺术在数字时代的发展找到突破口.

基本的OMR识别系统分为5个步骤，见图1所示.图像预处理包括图像二值化和剔除图像中呈盐粒状的非音乐信息噪音等；图像分割是要从图像中分离出感兴趣的焦点对象，古琴乐谱中谱字的分离是乐谱识别的关键一步，该文提出的包围盒算法可以完整地分离出图像中的每个谱字，为下一步的特征提取和模式识别提供技术数据；特征提取通过处理分割出的焦点对象的原始数据，提取出能区分不同对象的特征数据；模式识别根据特征数据对焦点对象进行分类，把图像数据变换为有语意的对象；最后利用通用的数字音乐格式如MIDI格式，把识别出来的音乐信息进行存储，方便传播和传承.

图1 古琴乐谱识别系统的基本构架Fig. 1 Basic frame of recognition system for Guqin musical score

3 提取古琴乐谱谱字的包围盒算法与区域标记算法

包围盒算法[13]是用来提取古琴乐谱图像中谱字的一种图像分割算法，在文本型的图像分割中得到了很好的应用，可以提取出所有感兴趣的焦点对象，为模式识别提供了有力的技术支持.

包围盒算法通过扫描整个图像，对所有的焦点对象像素(不设一般性，以下讨论中都假设焦点对象由黑色像素构成)进行顺时针扩展，直到不能扩展为止.一个焦点对象的包围盒是一个包含焦点对象的矩形区域，它能把焦点对象和其他焦点分离而不相交.

具体的算法步骤如下：

(1)假定图像为f(x,y)，1≤x≤W,1≤y≤H,f(x,y)=1表示当前像素为黑色像素(焦点对象)，f(x,y)=0表示当前像素为白色像素(背景)，H表示图像的高度(像素角度)，W表示图像的宽度.CloseBox(k,4)表示包围盒的左上角坐标和右下角坐标，其中CloseBox(k,1)，CloseBox(k,2)表示包围盒左上角的横坐标和纵坐标，CloseBox(k,3)，CloseBox(k,4)表示包围盒右下角的横坐标和纵坐标.开始时，假设x=1,y=1,k=0，然后从左到右，从上到下扫描整个图像.

(2)如果f(x,y)=1，进行(4)；否则，进行(3).

(3)设x=x+1，如果x≤W，那么进行(2)；否则，设y=y+1,x=1,如果y>H，那么算法结束；否则，进行(2).

(4)设k=k+1，CloseBox(k,1)=x，CloseBox(k,3)=x，CloseBox(k,2)=y，CloseBox(k,4)=y，标记flag=0，进行(5).

(5)设i=CloseBox(k,1)-1，如果i≥1，且对于所有的j，CloseBox(k,2)≤j≤CloseBox(k,4)，有f(i,j)=0，那么进行(6)；否则CloseBox(k,1)=i，flag=1，进行(6).

(6)设j=CloseBox(k,2)-1，如果j≥1，且对于所有的i,CloseBox(k,1)≤i≤CloseBox(k,3)，有f(i,j)=0，那么进行(7)；否则CloseBox(k,2)=j，flag=1，进行(7).

(7)设i=CloseBox(k,3)+1，如果i≤W，且对于所有的j，CloseBox(k,2)≤j≤CloseBox(k,4)，有f(i,j)=0，那么进行(8)；否则CloseBox(k,3)=i，flag=1，进行(8).

(8)设j=CloseBox(k,4)+1，如果j≤H，且对于所有的i,CloseBox(k,1)≤i≤CloseBox(k,3)，有f(i,j)=0，那么进行(9)；否则CloseBox(k,4)=j，flag=1，进行(9).

(9)如果flag=1，进行(5)，否则，进行(2).

算法扫描整个图像，如果遇到一个黑色像素，那么以它为初始的包围盒，按左边、上边、右边和下边的顺时针方向，一个像素一个像素螺旋扩展，直到四条边中都没有黑色像素为止.

区域标记算法实现对二值图像的每个目标连通区域(黑色连通区域)逐个用连续的正整数进行标记，每个连通区域的所有目标像素用同一个正整数标记.这样，一个图像对应一个唯一的标记图像，根据标记图像，可以把原图像的所有连通区域从图像中分离出来，达到图像分割的目的.区域标记算法的研究已经提出了多种实用的算法，包括多趟扫描算法、二趟扫描算法和一趟扫描算法等，其中，Chang Fu等[14]提出的轮廓区域标记算法是目前最快的区域标记算法之一.

4 包围盒算法与区域标记算法比较的实验结果

选取明代朱权《神奇秘谱》中的名曲“广陵散”的古琴乐谱为实验样本对象(第5页到第18页)，共14个乐谱图像，采用包围盒算法和轮廓区域标记算法作为比较算法，图2是利用包围盒算法对乐谱中的有效信息进行提取的结果.图中可见，乐谱中所有的有效信息都被包围盒从图像中分离了出来，包括谱字、文字说明(题跋、乐段说明和小标题)、乐句标记、页码说明和边框.分离出这些信息后，利用乐谱记录中的位置信息可以对它们进行分类，达到分割图像的目地.

图2 《神奇秘谱》的“广陵散”开始部分乐谱的包围盒算法结果Fig. 2 Result of Close-Box algorithm for the first sheet score of “Guang Lin San” in “Shen Qi Mi Pu”

利用区域标记算法，也可以提取出所有的有效信息，表1列出了所有实验样本的包围盒数量和区域标记数量.很明显，对于所有的图像，区域标记数量都大于包围盒数量，原因在于区域标记提取出来的有效信息被细分为更多的小区域，降低了后期模式识别过程的运行效率.分析实验样本的测试结果，包围盒算法可提高12.5%的平均运行效率.且由图3可见，对同类图像如古琴乐谱，包围盒算法的效率提高比较均衡.其中减少量比率(λ)的获取方程式为：

表1 “广陵散”各页乐谱的包围盒和标记区域数量及减少量比率

5 结 论

古琴的数字化研究是信息时代对古老艺术的发展提出的新要求.古琴的数字化结果要能适应信息处理的各个领域，故该文提出应从元数据方案设计、古琴乐谱的编码方案设计、TrueType字库设计、软音源设计、乐谱识别和古琴艺术的音乐活动等6个方面着手进行古琴艺术的数字化研究.在古琴乐谱识别方面，文章提出了谱字提取的包围盒算法，通过和广泛使用的区域标记算法的比较，在典型的古琴乐谱数据处理中，包围盒算法可以有效地降低后期数据处理量.

[1] 徐君跃，徐晓英.浙派古琴艺术[M].上海：上海艺术出版社，2006：1-10.

[2] 刘逸生.诗经选[M].周锡,选注.广东：广东人民出版社，1984：3-4.

[3] 查阜西.存见古琴曲谱辑览[M].北京：文化艺术出版社，2007:10-20.

[4] 徐怀若谷.网友：“嫦娥”高歌30曲 声声激越荡神州[EB/OL].(2007-10-30)[2010-08-01].http://scitech.people.com.cn/GB/6455121.html.

[5] Su A W Y, Liang Shengfu. A class of physical modeling recurrent networks for analysis/synthesis of plucked-string instruments[J]. IEEE Trans On Neural Networks,2002,13(5):1137-1148.

[6] Ng K, Barthelemy J, Ong B,etal. CIMS: Coding images of music sheets[EB/OL].(2005-6-20)[2010-08-05].http://en.scientificcommons.org/42263756.

[7] Yadid O, Brutman E. RAMIT: Neural network for recognition of musical notes[C]//Proceedings of the International Computer Music Conference. Berlin:[s.n.],1992:128-131.

[8] Watkins G. A fuzzy syntactic approach to recognising hand-written music[C]//Proceedings of the International Computer Music Conference. New York:[s.n.],1994:297-302.

[9] Ikushi Y, Kazuhiko Y, Hiromistu Y. Automatic construction of recognition procedures for musical notes by genetic algorithm[J]. International Association for Pattern Recognition Workshop on Document Analysis Systems,1995(14):225-236.

[10] 陈根方，张文俊.基于数学形态学和记谱法的数字乐谱音乐信息提取[J].计算机应用与软件,2008,25(8):75-78.

[11] Fahmy H. A graph-grammar approach to high-level music recognition[C]//Department of Computing and Information Science. Kingston: Queen’s University,1991:35-43.

[12] 陈根方.OMR研究及其原型系统开发[D].杭州：浙江大学，2003.

[13] Chen Genfang, Zhang Wenjun. Chinese Gong-Che notation musical score image segmentation based on an anticlockwise rotation extension algorithm[C]//CiSE 2009. IEEE,2009:1020-1023.

[14]Chang Fu, Chen Chunjen, Lu Chijen. A linear-time component-labeling algorithm using contour tracing technique[J]. Comput Vis Image Underst,2004,93(2):206-220.