我国听障学生唇读认知实验研究进展

雷江华 鲍博

1 前言

唇读是指听障人群利用视觉信息，感知言语的一种特殊方式和技能。看话人通过观察说话人的口唇发音动作、肌肉活动及面部表情，形成连续的视知觉，并与头脑中储存的词语表象相比较和联系，进而理解说话的内容[1]。听障学生因听觉损伤导致视觉语言（唇读和手语）成为语言信息输入的基本方式[2]。为了促进听障学生语言的发展，康复教师会或多或少地对其进行唇读训练，研究人员会通过实验研究探讨唇读的认知机制，为有效开展唇读训练提供理论依据。本文通过总结国内听障学生唇读的认知实验研究，梳理其研究成果，以为实践工作者提供参考。

2 方法

本研究采用主题词索引方式进行文献检索。采用主题词的不同组合在中国期刊网（CSSCI）来源期刊库进行检索，以唇读、实验、听障（听力障碍/听觉障碍/聋）、认知等主题词组合共检索到16篇论文。依据以下标准对文献进行再次筛选：①有实验设计；②有数据分析；③研究对象为听障学生。由此选出11篇文献。对11篇文献从被试特征、实验设计、实验材料、发表期刊等方面进行梳理。

3 结果与分析

所有实验共有426人参与，除去性别未提及的12人，其中男性172人（40.37%），女性242人（56.80%），被试平均年龄在20岁以下。实验设计上，有9篇（81.82%）采用真实验设计，1篇（9.09%）采用非随机分派控制组前后测的准实验设计，1篇（9.09%）采用block实验设计的功能性核磁共振研究。实验设计中有1篇（11.11%）采用单因素重复测量实验设计，8篇（88.89%）采用多因素实验设计，其中包括两因素被试内实验设计4篇（50%）、两因素混合实验设计3篇（37.5%）、三因素混合实验设计1篇（12.5%），在4篇两因素被试内实验设计中，根据不同的因素的水平不同划分为2×3、3×3、3×6三种，其中文献数量比为2：1：1。实验材料上，10篇（90.9%）为汉语，1篇（9.09%）为汉语英语双语相结合，见表1。

3.1 音素作用明显

音素是根据语音的自然属性划分出来的最小语音单位。从声学性质看，音素是从音质角度划分出的最小语音单位，从生理性质看，一个发音动作形成一个音素[14]。汉语的音素由单韵母、复韵母、声母组成[15]。11篇汉语唇读认知实验研究中，有7篇（63.64%）探讨音素可见性的作用发现正确率差异显著，在反应时上4个实验差异显著（见表2）。首先，单韵母与声母之间在正确率上7个实验均表现出显著性差异，且单韵母高于声母，在反应时上实验③、④、⑤、⑧中表现出显著性差异，且单韵母快于声母，由于声母在唇读汉字语音识别过程中经历的加工过程较复杂，加工时间较久，所以单韵母在正确率上高于声母，在反应时上快于声母。其次，单韵母与复韵母之间，在反应时上尽管实验③、④中差异不显著，但识别反应时速度依然是单韵母快于复韵母；在正确率显著的情况下，单韵母的正确率明显高于复韵母，这说明复韵母因其发音的延长在一定程度上增加了唇读语音加工的难度，因此，单韵母在正确率上高于复韵母，在反应时上快于复韵母。最后，复韵母和声母之间，除了只涉及单韵母和声母的实验⑤、⑧和实验②陌生条件外，其他实验在正

确率上均表现出显著性差异，且复韵母高于声母；在反应时上，实验③、④表现出显著性差异，且复韵母快于声母。

表1 文献编码分析主要信息概要[3～13]

3.2 视素作用明显

费舍[16]用视素表示语音的视觉特征，视素是根据音素的发音位置和口形划分的。视素分为元音视素和辅音视素，元音的视素可见性高，其构音编码优于辅音的构音编码系统，因此元音视素比辅音视素清晰[17]。国外对于唇读的定义是从“lip-reading”演变为“speechreading”，后者取代前者说明了唇读的过程不仅依赖口形，而且牙齿与舌头的可视性在唇读中也很重要[18]。视素可见性的作用表现在唇形和开口度两个方面，由于通过开口度可直接或间接地观察到舌位，因此，元音的视素可见性作用主要体现在唇形、开口度和舌位上。

根据发音时唇形的圆展，唇形又分为不圆唇音和圆唇音[14]。开口度指发元音时口腔开闭的程度，根据开口度，元音可以分为闭元音、半闭元音、半开元音、开元音4个基本类型[19]。如普通话的/i／，口腔开口度很小，称作闭元音，／a／的口腔开口度最大，称作开元音。开口度不同时发音位置发生变化，所以在听辨时要注意发现舌位的不同[20]。根据发音时舌的紧张部位，舌位分为舌面音和舌尖音[14]。舌面音又分为舌面前音和舌面后音，多数元音都是舌面后音，如国际音标的/a/、/e/、/o/、/u/。

11篇文献中有3篇（27.27%）文献涉及视素可见性在听障学生唇读元音识别中的作用。其中2篇（18.18%）以汉语元音中的6个单韵母作为实验材料，分别探索视素可见性和编码方式在听障学生唇读汉语元音识别中的不同影响，均在正确率和反应时上有所体现（见表3），1篇以汉语和英语的元音作为对比实验材料，分析镜前口形模仿策略在听障学生双语唇读元音识别中的作用（见表4）。

首先，不圆唇音／a、i、e／与圆唇音／o、u、ü／之间，在正确率和反应时上两个实验均表现出显著性差异，a/o/、a/u、e/u三对差异极其显著；在实验⑦中听障学生唇读汉语语音识别的正确率由高到低依次为／a/i/e/u/o/ü／，反应时由高到低依次为／o/u/e/a/ü/i／；在实验⑨中，正确率由高到低依次为／i/e/a/u/o/ü／，反应时由高到低依次为／ü/o/u/i/a/e／，这说明在听障学生唇读汉语语音识别中，不圆唇音的识别正确率明显高于圆唇音，圆唇音的反应速度相对快于不圆唇音（见表3）。

其次，不圆唇音／a、i、e／之间，在正确率和反应时上实验⑦中都未表现出显著差异，说明这3个不圆唇音在听障学生唇读识别中的识别效果相当；在实验⑨中不圆唇音a/i之间、a/e之间只有口形运动编码方式下正确率表现出显著差异，说明听障学生在识别不圆唇音时，更容易获得/e/和/i/的独特动觉反馈，三者之间在反应时上未表现出显著差异，说明三者都属于不圆唇音，都有独特的视素特征，较容易识别（见表5）。

最后，圆唇音／o、u、ü／之间，在正确率和反应时上均表现出不同的显著性差异，识别效果表现出较大的差异性，这可能与三者开口度和舌位的差异存在一定关系。由于圆唇音／o、u、ü／分别属于开口呼、合口呼和撮口呼，三者的开口度均不同，发音位置发生变化，因此在听辨时要注意发现舌位的不同。由表5可知，在实验⑦中，o/u正确率差异不显著的原因之一是二者均属于舌面后音，o/ü和u/ü的正确率差异显著是因为/ü/属于舌面前音；在实验⑨中，由于／o、u、ü／均为圆唇音，其视素特征相似，故在口形运动编码上三者之间均为显著性差异，而在语音编码方式下识别正确率的差异主要来源于o/u和u/ü，主要原因是这两组元音的开口度不一致以及舌位的差异显著。

由表3、5可知，实验⑦、⑨均以在汉语中既是韵母也是元音的6个单韵母／a、o、e、i、u、ü/为实验材料。由表4可知，实验⑪的测试材料是英语和汉语双语，且不限于元音中的6个单韵母，而是分别在汉语中，选择汉语拼音中的元音/a、i、ai、e、u、o／，相比6个单韵母缺少/ü/，增加了复韵母／ai／；在英语中，选择5个元音字母／a、e、i、o、u／中与汉语拼音中的元音／a、i、ai、e、u、o／读音相似的6个音标听障学生元音识别正确率在汉语上总体表现显著，尤其是／u、i、a／3个元音，在英语上总体表现不显著，仅元音显著，有待进一步探讨。

表2 三种音素水平在7个实验中的差异汇总

表3 元音识别正确率和反应时的差异显著性汇总

表4 听障儿童在前后测唇读汉语与英语元音识别正确率的差异显著性汇总

表5 唇形在听障学生汉语语音识别中的作用

3.3 其他效应

11篇文献中有8篇（81.81%）表明了自变量其他6种影响效应的存在：词长效应、熟悉效应、视听通道效应、教学条件效应各1（9.09%）篇，助听器效应2（18.18%）篇，编码效应3（27.27%）篇，其中有1篇是同时具有编码效应和助听器效应（实验⑧）。首先，词长效应说明听障学生单字条件的唇读语音识别效果优于词语条件；第二，熟悉效应说明师生之间的熟悉程度越强对听障学生唇读语音的单韵母识别越好；第三，助听器效应，说明配戴助听器的听障学生唇读语音单韵母和复韵母的识别效果优于未配戴助听器的听障学生，其中实验⑧说明助听器对听障学生唇读语音识别作用主要体现在语音编码上；第四，教学条件效应，口语教学方式对听障学生唇读语音识别的效果体现在韵母上；第五，视听通道效应，听障学生唇读语音识别效果在视听条件下优于视觉条件，视觉条件优于听觉条件；第六，编码效应，实验⑤说明唇读语音识别加工速度的差异性体现在手指语编码和口形运动编码上，实验⑧说明口形运动编码在唇读语音识别中表现出的优势在于未佩戴助听器的听障学生中，而手指语运动编码表现出的优势体现在较难的声母识别中，实验⑨进一步说明三种编码方式中的语音编码在唇读汉字语音识别中的调节器作用。

4 结论与建议

4.1 结论

①音素与视素在听障学生汉语唇读语音识别中作用明显：单韵母优于复韵母优于声母，不圆唇音优于圆唇音；②汉语唇读语音识别受到各种因素影响：存在词长效应、熟悉效应、助听器效应、教学条件效应、视听通道效应、编码效应等。

4.2 建议

4.2.1 利用音素作用，加强唇读训练 由于音素可见性作用明显，唇读训练要循序渐进、从易到难地进行，即从单韵母到复韵母到声母；从单字到词语，再到语句，最后到语篇。听障学生唇读汉语语音识别的难点在声母，因此可考虑建立唇读声母训练的辅助支持策略，如助听器辅助、手指语辅助、触觉辅助等。

4.2.2 利用视素作用，加强镜前练习 由于视素可见性作用明显，应加强听障学生镜前自我练习，促进其汉语唇读语音识别策略的习得。通过镜前自我练习策略而获得的视觉刺激对于听障学生汉语唇读语音识别被证明是有效的。教师可通过教室里配置的玻璃镜或计算机等语言交流装置，在教学中指导学生规范自己的发音口形运动，通过该装置给听障学生提供自己唇动的视觉反馈，一方面检查其唇形的标准程度，另一方面提高其学习说话的积极性与主动性。

4.2.3 利用教学条件效应，重视口语教学 根据教学条件效应，口语教学在听障学生唇读语音识别中作用明显，应重视课堂中的口语教学。听障学生掌握口语主要是为了帮助自己，即通过长期口语训练，使外部口头言语逐步转化为内部言语，然后用内部言语进行思维，因此为了改造听障学生的直观形象思维，就要对其进行口语训练[21]。学校营造良好的口语交流环境，不仅限于师生之间的口语交往，还要重视同学之间的口语交流。

4.2.4 利用助听器效应，强调听语训练 根据助听器效应应强化听语教学与训练，即利用残余听力和配戴助听设备加强听能训练。政府给每个听障学生配备良好的听觉辅助设备，学校和机构为其培训专门的言语语言康复训练师，并建立起设备齐全、仪器先进的语言康复训练室，并把“训练听障学生的听话能力”作为教学任务之一贯穿教学过程始终。

4.2.5 利用视听通道效应，强调听能训练和唇读训练结合 根据视听通道效应，听障学生唇读语音识别效果在视听条件下优于视觉条件优于听觉条件，可利用语音视听信息整合形成综合表征来提高听障学生的唇读技能，让听障学生能协调听觉和视觉来进行语言认知。

4.2.6 利用编码效应，强调发展语音意识 根据编码效应可知，语音编码在听障学生唇读语音识别中起着调节作用。因此，教师与训练人员应抓住听障儿童语言发展的关键期，通过包括唇读训练在内的各种语言训练，促进听障儿童语音意识的发展，提高其语音编码能力与语言理解能力，实现在日常生活中进行有效的沟通与交往。

[1]朴永馨.特殊教育词典[M].北京：华夏出版社，1996.188.

[2]雷江华.听觉障碍学生唇读的认知研究[M].北京：中国社会科学出版社，2009.57.

[3]雷江华，张凤琴，方俊明.字词条件下聋生唇读汉字语音识别的实验研究[J].中国特殊教育，2004，53(11)：39-41.

[4]雷江华，王庭照，方俊明.聋生唇读语音识别中熟悉效应的实验研究[J].心理科学，2005，28(05)：1120-1121.

[5]雷江华，甘琳琳，方俊明.助听器对听障学生唇读汉字语音识别的作用[J].心理科学，2006，29(06)：1442-1443.

[6]雷江华，方俊明.口语教学对听觉障碍学生唇读语音识别技能发展的作用研究[J].教育研究与实验，2007，116(03)：70-72.

[7]雷江华，熊琪，张军华,等.听障学生唇读语音识别编码方式的实验研究[J].中国特殊教育，2007，85(07)：28-31.

[8]雷江华，方俊明，王伟忠,等.听障学生唇读语音识别视听通道效应的实验研究[J].心理科学，2008，31(02)：312-314.

[9]雷江华，刘爱民，张军华.视素可见性在听障学生唇读汉语元音识别中的作用[J].中国特殊教育，2008，93(03)：17-20.

[10]雷江华，孙灯勇，刘昌,等.语音编码在聋生唇读汉字语音识别中的作用[J].心理科学，2010，33(02)：15-17.

[11]雷江华，汪斯斯，刘昌,等.编码方式在听障学生唇读汉语元音识别中的作用研究[J].心理科学，2010，33(04)：946-948.

[12]雷江华，刘昌，方俊明,等.听觉障碍学生唇读的fMRI研究[J].教育研究与实验，2014，158(03)：69-72.

[13]雷江华，崔婷，张晶,等.镜前自我模仿策略在听障儿童双语唇读元音识别中的作用[J].中国特殊教育，2014，166(04)：36-40.

[14]崔希亮.语言学概论[M].北京：商务印书馆，2009.92,95,107.

[15]徐诚.唇读研究回顾：从聋人到正常人[J].华东师范大学学报(教育科学版)，2013，31(01)：56-61.

[16]Williams JJ,Janet CR,Aggelos KK,et al.Frame Rate and Viseme Analysis for Multimedia Applications to Assist Speechreading[J].Journal of VLSI Signal Processing Systems，1998，20(1-2)：7-23.

[17]雷江华.听觉障碍学生唇读的认知研究[M].北京：中国社会科学出版社，2009.245.

[18]Kevin G.Munhall&Eric Vatikiotis-Bateson.The moving face during speech communication.In Ruth Campbell，Barbara Dodd，Denis Burnham.Hearing by eyeⅡ：Advances in the Psychology of Speechreading and Auditory-visual Speech[M].East Sussex：Psychological Press，1998.123-141.

[19]岑麒祥.语音学概论[M].北京：商务印书馆，2013.97.

[20]金阳天，王虹，欧阳国亮.语音开口度对共振峰频率的影响[J].中国刑警学院学报，2014，22(03)：48-51.

[21]简栋梁.以口语为主导的全沟通教学[J].中国听力语言康复科学杂志，2004，5(04)：30-31.