非言语听觉界面在人机界面中的应用

卢秀玲

一、前言

目前人机交互界面的主流是视觉界面，这种界面只利用了人的视觉通道，易造成视觉通道信息过载，影响工作效率；同时，盲人和有视觉缺陷的用户根本无法使用这种视觉界面。另外随着科技的发展，可携带式设备的应用越来越广泛，这种设备的显示屏大小有限，而要呈现的信息量却越来越大，这样信息量和视觉显示屏大小之间的矛盾也愈加突出。而听觉界面利用了人的第二大感觉通道——听觉，具有很多优势，因而听觉界面的开发也就成为多通道用户界面的重点。听觉界面的优势具体表现在：听觉界面可为盲人和有视觉缺陷的用户使用；人对听觉信号的检测快于视觉信号检测，因而采用听觉界面将使用户更快地发现错误从而提高操作效率；听觉具有全向特性，用户无需将注意集中于某一点，声音可以很好地引起用户注意；听觉界面可减轻用户的视觉负担，避免视觉信息过载；听觉信息与视觉信息同时提供，可使人获得更强烈的存在感和真实感。

二、非言语听觉界面

听觉界面根据使用的声音可分为两类：言语听觉界面和非言语听觉界面。

言语听觉界面是运用语音作为信息表征方式的界面形式。言语听觉界面具有内容明确、易学习的特点，因而语音界面已经普遍应用于电话通讯系统、车载系统、医疗救治等特殊情况以及盲人或视力低下的特殊人群。但是人类对语言的加工是序列加工，只有听完整句话才能理解其含义，这样加工速度就很慢。另外，不同国家、地区之间的语言、语音不同，这也限制了语言界面的使用。

非言语听觉界面是运用日常声音或乐音作为信息表征方式的界面形式。听觉界面中常见的非言语信号表征主要有听标（auditory icon）和耳标（earcon）两类。 听标是为表征某一事件或属性而采用的在日常生活中与之有关联的声音[1]。例如运用盘子摔碎的声音表征删除文件的操作。听标因为采用了生活中的声音表征操作，所以表征性强且易学习；它的不足是只能表征结构比较简单的信息。听标所采用的自然声音，与界面操作有较强的语义联系，恰当的听标会减轻用户的认知负荷，反之不恰当的听标容易造成用户的误解，降低工作绩效，因此，听标和操作的语义对应关系就非常重要。而实际上，人机界面的许多操作不能找到对应的日常声音，这也限制了听标的使用范围。耳标“是用来表征结构化信息的乐音，是计算机用户界面中向用户提供计算机客体、操作或交互信息的非言语听觉信号”[2]。耳标的基本构成元素是一种特定的短节奏音高序列（也称motive），其基本构成因素包括[3]节奏、音高、音色、音域、力度变化。通过对上述五种属性的操纵可产生众多不同的motive以表征不同的信息。人类对音乐表征的结构化信息很容易学习，且不受音乐特长的影响，这样耳标就可以广泛应用到人机界面中。

三、非言语听觉界面研究的应用

非言语听觉界面研究早在20世纪80年代就已经开始，其研究根据用户视力情况分为两类，之所以这样区分是因为视力正常的用户和有视觉障碍的用户对听觉界面的要求不同。如果视觉界面可以满足视力正常者的需求，那么听标、耳标主要起辅助作用，充分发挥其远距离传输、易引起注意和反应快的特点，用于操作反馈。Gaver1989年提出的Sonic Finder[1]，采用听标表征计算机图形界面的一些操作过程，如用盘子摔碎的声音表征文件删除。Crease和Brewster[4]采用耳标表征计算机图形界面的一些操作过程，如采用长度为500ms、音高为65HZ吉他低音表示操作条的终点。其研究结果表明，采用听标和耳标可使被试的错误大大下降，点击鼠标的速度加快，重复点击率下降；喜好评价表明被试更喜爱有听觉反馈的界面，而且并未感到声音是噪音。

针对有视觉障碍的用户，听标、耳标的设计就是不仅要对操作进行反馈，还要给用户具体的指令，这样，听觉界面的内容相对就比较复杂。针对视觉受损用户可采用听觉获取信息的特点，常用的计算机界面多采用一定技术将文本文件转换成语音信息。但由于语音界面语速较慢、易造成短时记忆超负荷工作、同时又难以表征图形等信息，Edwards提出应在视觉受损用户的界面中加入非语言界面[5]，她采用耳标和合成语言表征文字加工过程的操作，每个图标都赋予声音，点击时会发出声响。采用纯音做反馈，和弦音标识菜单，菜单包含的下级菜单的数量用和弦数表示，从左向右、从上向下音高不断增强，由此表示方向。针对这种技术的研究表明盲人可以非常成功地在界面中定位。Mercator system[6]采用视觉界面和听觉界面匹配的方法用听标表征物体，耳标表征二维图形和数学概念。如它用敲玻璃声音表征光标在屏幕上的移动，采用木箱子的声音表征文件夹等。采用音高表示y轴，用持续时间表示x轴，由此可表征二维图形。采用一些乐音表征一些数学概念，如不对称性、单调性、斜率等。对这个系统的研究表明被试可以很快根据声音做出正确反应。Alty等人[7]通过耳标中音色、音高等属性的变化实现了对简单图形的表征，如采用风琴音表征x轴，用钢琴音表征y轴，音高表示x、y轴上数值的大小。实验结果表明，80%的用户几乎无需训练就可完成对图形、直线等对象的识别。

四、非言语听觉界面研究现状及展望

目前，非言语听觉界面的研究还处于方兴未艾的状态，有许多研究者逐渐意识到非言语听觉界面的重要性，非言语听觉界面也在一些产品中得到了应用，如有人将听标、耳标用于家电产品中。但是现有的非言语听觉界面中使用的大部曲线来对学生的背单词情况进行测试和分类，这就符合学生的个性化需求和发展。针对大多数学习者网络学习策略、自分参数都缺乏实验依据，开发者大多按照个人的主观审美来选择和使用声音，这样开发出的听觉界面有可能是违背工效学原则的。因而非常有必要通过实验的方法确定听觉界面设计的指导原则，另外非言语界面是否能够提高工作效率还需要谨慎对待。在复杂界面的设计中，运用耳标作为基本结构，适当结合听标是一种行之有效的方式，两者在不同使用场合的结合方式仍需进行进一步实验探索。

[1]Gaver，W.The SonicFinder：An interface that uses auditory icons[J].Human Computer Interaction，1989，4（1）：67-94

[2]Blattner，M.，Sumikawa，D.，Greenberg，R.Earcons and icons：Their structure and common design principles[J].Human Computer Interaction，1989，4（1）：11-44

[3]沈模卫，白金华，陈硕等.耳标在小屏幕界面设计中的应用[J].应用心理学，2003，9（2）：35-40

[4]Crease，M.C.，&Brewster，S.A.Making progress with sounds-The design and evaluation of audio progress bar[C].Paper presented at the Proceedings of ICAD′98，Glasgow，UK，1998

[5]Edwards，A.D.N.Soundtrack：An auditory interface for blind users[J].Human Computer Interaction，1989，4（1）：45-66

[6]Mynatt，E.D.，&Weber，G.Nonvisual Presentation of Graphical User Interfaces：Contrasting Two Approaches[C].Paper presented at the Proceedings of ACM CHI′94，Boston，Ma，1994

[7]1Alty，J.，&Rigas，D.Communicating graphical information to blind users using music：the role of context[C].Paper presented at the Proceedings of ACM CHI′98，Los Angeles，CA，1998