唇读对听障儿童语音识别的帮助作用

石涯　王永华　李文靖



·听力康复·

唇读对听障儿童语音识别的帮助作用

石涯1王永华1李文靖2

目的运用McGurk效应范式材料，探究唇读对听障儿童语音识别的帮助作用。方法实验组选择双耳重度语前聋且双耳接受助听器补偿的儿童36例(10～12岁，平均11.82±1.54岁)，对照组为听力正常儿童36例(10～13岁，平均11.23±1.75岁)。McGurk效应范式测听材料由音频和视频组成，音频包括/ba/、/da/、/bi/、/di/、/bu/、/du/ 6个刺激音，视频内容为6个音发音时的完整图像资料，经软件处理，在纯听、视听一致、视听不一致三种条件下，测试两组受试者的听觉反应正确率。结果实验组在纯听、视听一致、视听不一致条件下的听觉反应正确率分别为71.23%±19.20%、96.13%±7.10%、11.12%±16.20%，对照组分别为93.15%±10.02%、96.21%±11.12%、54.03%±23.41%，两组受试者听觉反应正确率均依次降低。视听不一致条件下测听时，正常儿童听觉反应所占比例(54.04%±23.23%)显著高于听障儿童(11.47%±16.32%)(P<0.05)。结论视听结合是最佳聆听条件，唇读对听障儿童语音识别有帮助作用。

听障儿童；唇读；语音识别

社会各界对聋儿康复训练中是否可以使用唇读态度不一,听觉口语学家 Doreen Pollack强调避开视觉线索，让孩子成真正的“听觉学习者”;也有学者认为，“遮口”等方式仅在听语初期(未养成聆听习惯时)使用[1]，视觉线索既可以让儿童与对话者有眼神交流也可帮助他们理解新知识。

McGurk效应[2]在1976年首次被提出，指当视觉刺激与听觉刺激同时出现但又相互冲突时，听者对声音识别出现偏差的现象，其一直被认为是研究言语感知中多感官整合的良好工具[3]，在阅读困难[4]、自闭症[5～7]及语言学习障碍[8]等方面的研究中均有应用。本研究拟通过使用McGurk效应范式测听材料，测试正常儿童与听障儿童在纯听、视听一致、视听不一致三种条件下听觉反应的正确率，为正确认识唇读对听障儿童语音识别的帮助提供一定依据。

1　资料与方法

1.1研究对象及分组受试者均为学龄期儿童，实验组为双耳重度语前聋儿童36例，其中女16例，男20例，年龄10～12岁，平均11.82±1.54岁；助听器选配年龄在2岁以内并及时进行语训两年以上，已进入正常小学学习，均无其他器质性病变及发育异常，双耳佩戴助听器，双耳助听器型号相同，均使用同一品牌同一系列全数字助听器，10或15通道，双耳0.25～4 kHz助听听阈频率30～50 dB HL，双耳鼓室图均正常。对照组为正常儿童36例，双耳0.25～4 kHz各频率气导听阈均小于20 dB HL，双耳鼓室图均正常，男女各半，年龄10～13岁，平均11.23±1.75岁。测试期间所有受试者身体状态良好。

1.2McGurk效应范式测听材料的制作McGurk效应范式测听材料为辅音/b/、g/、/d/与元音/i/、/a/、/u/组合的辅音+元音(CV)结构的单音节，其中，纯听条件包括：/ba/、/da/、/bi/、/di/、/bu/、/du/ 6个刺激声，每个刺激声重复5遍；视听一致及不一致条件下分别有6个刺激声，每个刺激亦重复5遍，见表1。

表1　视听一致和视听不一致条件下听到声音及看到口形的刺激声

测听材料的不同音节均由男性播音员朗读，使用专业设备采集图像和音频，图像的采样频率及大小分别为25 f/s，352 mm×288 mm，音频的采样频率为44 kHz。每个音节的图像完整，包括发音前后表情静止的部分，播音者面部表情全程保持中性、一致。将图像中所有刺激切割成时长约300 ms的单个刺激，使用Audition2.0对音频进行平滑、去噪、统整音高等处理；合成视听不一致刺激时，保证不匹配的口形与原音频的发音口形完全对应[9]。

1.3听觉反应的测试方法测试在本底噪声低于35 dB A的标准隔声室内进行，受试者坐在屏幕正前方约65 cm处，扬声器位于屏幕后方，与受试者呈0°，要求受试者始终注视屏幕；测试过程中，实验组双耳助听器始终处于工作状态。测试材料的播放声强为受试者表示“声音大但可以接受”，受试者保持注意力集中，大声清楚地说出自己听到的音节，操作者及时记录受试者在三种测试条件下的反应。每种测试条件下，受试者必须在音频结束后1 500 ms内做出反应，反应后播放下一个音节；如果受试者无法做出反应，500 ms后呈现下一刺激。

1.4测试结果的记录记录及编码均由同一名操作者完成。纯听和视听一致条件下，编码“1”代表受试者正确报告听到的刺激声，否则计为“0”。视听不一致条件下，分5种不同的反应类型：编码“1”代表“听觉反应”，即受试者正确报告了听到的刺激声；编码“2”代表“视觉反应”，即受试者报告了看到的刺激声；编码“3”代表“融合反应”(如：当口形是/ga/，声音是/ba/时，受试者报告听到/da/，这被称为“融合反应”)即受试者报告了不同于任何一个单一刺激声的反应；编码“4”代表“结合反应”(如：当口形是/ba/，声音是/da/时，受试者报告听到/bda/，这被称为“结合反应”)即受试者把视觉和听觉的信息结合在一起产生的反应；其他反应均记为“5”(除以上四种反应以外的所有反应，如受试者报告听到/a/，以及受试者在规定时间内无法做出回应，均被称为“其他反应”)。对“融合反应”和“结合反应”的判断根据辅音部分，例如口形是/ga/、声音是/ba/的刺激声，如果受试者的反应是/be/，也记为“1”[9]。

1.5统计学方法采用SPSS19.0统计软件对数据进行录入和统计。纯听和视听一致条件下听觉反应正确率计算方法：听觉反应正确的个数/总刺激数6×100%，计算所得录入系统，使用两因素重复测量方差分析进行统计。视听不一致条件下，先将所有反应类型同上述方法行频数化(每种反应的个数/总刺激数6×100%)，再使用卡方检验，比较各反应类型所占的比例(构成比)。

2　结果

2.1两组儿童三种条件下的听觉反应实验组及对照组儿童在纯听、视听一致、视听不一致条件下听觉反应的平均正确率见表2。

表2　两组儿童在三种条件下听觉反应的平均正确率±s)

对被试内变量(实验条件)的球形检验结果显著(χ2=19.86，P<0.01)，说明数据不符合球形假设，所以以下报告的各实验条件的主效应以及实验条件和听力情况的交互作用都经过了Greenhouse校正，校正系数Epsilon=0.800。听力情况和实验条件的两因素重复测量方差分析发现，听力情况的主效应显著(F=348.96，P<0.01)，说明听力正常儿童和听力障碍儿童在三种条件下听觉反应的正确率均有显著性差异，即他们单音节加工中受视觉言语的影响作用不同。实验条件的主效应显著(F=98.68，P<0.01)，听力情况和实验条件的交互作用显著(F=36.74，P<0.01) ，说明听觉反应的正确率受实验条件和自身听力情况的影响。

对实验条件的进一步事后检验(Post Hoc) 发现，受试者在视听一致条件下的听觉反应正确率显著高于纯听(P<0.01) 和视听不一致条件(P<0.01)，纯听条件下的反应正确率又显著高于视听不一致条件(P<0.01)，说明，正常听力儿童与听力障碍儿童都表现出显著的McGurk效应。

2.2视听不一致条件下两组儿童的五种反应类型比较两组儿童在视听不一致条件下测试时各类反应所占的比例见表3，可见听力正常儿童与听力障碍儿童在视听不一致条件下各反应类型的频数分布不同(χ2=87.13，P<0.01)，进一步对两组儿童的五种反应类型进行分析，可见听力正常儿童听觉反应所占的比例明显高于听力障碍儿童(P<0.01)；而听力障碍儿童视觉反应类型和其他反应类型的所占比例要明显高于听力正常儿童(P<0.01)；但两组儿童融合反应和结合反应的所占比例差异无统计学意义(P>0.05)。

表3　视听不一致条件下两组儿童各类反应所占比例±s)

3　讨论

3.1视听结合是最佳的聆听条件听障儿童在纯听、视听一致及视听不一致条件下听觉反应的正确率都反应了他们对于单音节的听觉辨别能力。从本文结果可以看出，两组受试者均在视听一致条件下的听觉反应正确率最高，视听不一致条件下最低。听障儿童视听一致条件下的平均正确率约为96.13%，纯听条件下的平均正确率为71.23%，前者较后者提高24.99%，有显著差异，且比正常组提高明显(正常组平均正确率提高3.06%)，说明唇读是语音识别过程中的重要补偿，对听障患者尤为重要。

发展理论强调早期环境对感觉通道机能正常发育的重要性，言语感知是听觉信息与视觉信息整合的过程[10]，即使在助听设备的帮助下，听障患者也难以得到完整的听觉信息，仍需依赖视觉信息的辅助作用。雷江华[11]、Hirano[12]、Eisenberg[13]的研究都发现，视听一致是最佳的聆听条件。Shigeru[14]对两例语前聋人工耳蜗植入患者的研究发现，同时使用人工耳蜗和唇读时，其言语识别率分别达到了89.2%和92%。国内亦有学者研究得出唇读信息对提高听障者噪声下言语识别能力的帮助作用尤为显著[15]，近年来，国外又重新将唇读列入听力康复的训练内容。

语训可以帮助听障儿童养成聆听习惯，形成口语能力。随着听障儿童年龄增长，新知识输入量变大，生活环境更加复杂，家长可以鼓励他们，在感觉聆听困难时主动利用唇读信息作为听说交往中的有效补充，在提高语音识别能力的同时，还能表现出对说话者的尊重，构建良好的人际关系。

3.2视、听皮层发育的差异文中结果显示视听不一致条件下，两组受试者都发生了McGurk效应，与Clémence Bayard[16]的研究结果一致，但正常儿童的听觉反应明显好于听障儿童，视觉反应则相反。用信息传输接替模型[17]解释为听觉皮层与视觉皮层信息得到整合，这种差异的出现说明正常儿童更倾向于使用听到的信息，听障儿童更倾向于使用看到的信息。雷江华等[11]、Finney等[18]通过fMRI技术，分别检测无声唇读刺激对语前聋患者和正常人听觉皮层的激活情况，结果显示，语前聋患者的右侧听皮层区出现了明显的激活，即无声唇读输入会激活先天性聋患者的听觉皮层。有学者认为这种现象只在早期重度聋患者中发生，是一种视觉皮层“占领”听觉皮层的现象，且唇读信息输入会主动重塑听觉皮层内原有的神经回路，时间越久“占领”越稳固，但具体时间仍无定论[19]，听觉皮层发育受限使得听障儿童较正常儿童更依赖于唇读、触觉等信息。

听觉皮层发育受限、助听器功能限制等客观原因使听障儿童虽然配戴了助听器但还需注视对方讲话时的唇形才能分辨声音、了解语意。听障儿童接受助听并进入正常学校后，学生多，学习环境嘈杂，教师课堂语速较快，使其学习困难更加明显，此时，家长既可以与教师沟通让听障儿童坐在中间靠前的位置，也要告诉其听声吃力时可以看教师口型进行有效辅助。

听障儿童听觉康复的有效措施之一便是配戴助听设备，王娜等[20]认为，改善助听后听阈是听障儿童听觉能力康复的有效途径。文中所有受试者均使用全数字助听器，助听后效果已达最适，且及时进行了语训和发音矫正，但听觉皮层发育受限、助听器功能限制等原因仍是听障儿童与正常儿童语音识别差异的重要原因，即使是高质量的数字助听器和严格的语训也无法完全取代唇读的重要作用。因此，适当训练听障儿童的唇读能力，帮助他们适应日常生活中各种复杂的交流环境，有利于进一步提高其言语识别率，帮助他们逐渐回归主流社会。

1陈军兰，董蓓，张莉.听觉口语训练课程中常用的教学技巧[J].中国听力语言康复科学杂志，2013,11：428.

2McGurk H, MacDonald J. Hearing lips and seeing voices[J].Nature , 1976, 264: 746.

3Tiippana K. What is the McGurk effect[J]?Frontiers in Psychology , 2014, 5: 22.

4Bastien-Toniazzo M, Stroumza A, Cav C. Audio-visual perception and integration in developmental dyslexia:an exploratory study using the McGurk effect[J]. Current Psychology Letters, 2009, 25: 2.

5Mongillo E, Irwin J, Whalen D. Audiovisual processing in children with and without autism spectrum disorders[J]. Journal of Autism and Developmental Disorders, 2008, 38: 1349.

6Taylor N, Isaac C, Milne E. A comparison of the development of audiovisual integration in children with autism spectrum disorders and typically developing children[J]. Journal of Autism and Developmental Disorders , 2010, 40: 1403.

7Williams JHG, Massarob DW, Peela NJ. Visual auditory integration during speech imitation in autism[J]. Research in Developmental Disabilities , 2004, 25: 559.

8Norrix L,Plante E,Vance R. Auditory-visual speech integration by adults with and without language-learning disabilities[J]. Journal of Communication Disorders , 2006, 39: 22.

9李燕芳，梅磊磊，董奇，等．汉语母语者视听双通道言语知觉的特点及发展研究[J]．心理发展与教育,2008，24：43.

10Lickliter R,Bahrick LE.The development of infant intersensory perception: advantage of a comparative convergent operation approach[J]. Psychological Bulletin, 2000, 126: 260.

11雷江华，方俊明，王伟忠，等．听障学生唇读语音识别视听通道效应的实验研究[J]．心理科学，2008,31: 312.

12Hirano S, Naito Y, Kojima H, et al. Functional differentiation of the auditory association area in prelingually feaf subjuecta[J]. Auris Nasus Larynx，2000，2：303.

13Eisenberg LS, Martinez AS, Boothroyd A. Auditory-visual and auditory-only phonetic contrasts in children[J]. The Voltan Review, 2004, 103: 327.

14Hirano S, Naito Y, Kojima H, et al. Functional differentiation of the auditory association area in prelingually deaf subjects[J]. Auris Nasus Larynx, 2000, 27: 303.

15李文靖，王永华，王枫，等. 唇读信息对听力损失患者语句识别的影响[J]. 听力学与言语疾病杂志，2014，22: 187.

16Bayard C, Colin C, Leybaert J. How is the McGurk effect modulated by Cued Speech in[J]. Frontiers in Psychology, 2014, 19: 24.

17 Ingrid R, Olson J, Chritopher K, et al. A comparison of bound and unbound audio-visual information processing in the human cerebral cortex[J]. Cognitive Brain Research, 2002, 14:129.

18Finney EM, Fine I, Dobkins KR. Visual stimuli activate auditory cortex in the deaf[J]. Nature Neuroscience, 2001, 12:1171.

19张明，陈骐. 听觉障碍人群的皮层可塑性[J].中国特殊教育，2003，4：43.

20王娜，杜巧新. 听障儿童听觉言语能力影响因素的研究[J]. 中国康复理论与实践,2011，17：372.

(2015-10-29收稿)

(本文编辑李翠娥)

The Role of Lip-Reading for Hearing-impaired Children in Phonetic Identification

Shi Ya*， Wang Yonghua，Li Wenjing

(*Zhejiang Chinese Medical University， Hangzhou， 310053，China )

ObjectiveUse McGurk effect paradigm materials to explore the role of lip-Reading for hearing-impaired children in phonetic identification.MethodsThirty-six severe prelingually hearing-impaired children and thirty-six normal healthy children(binaural PTA≤20 dB HL) were recruited in the study. The test material was composed of audio and video, including /ba/, /da/, /bi/, /di/, /bu/, /du/ six stimulation sounds which were video recorded as pronounced. Under 3 different conditions, the two groups were evaluated for the accuracy of auditory responses.ResultsThe accuracy of auditory responses of hearing-impaired children group was 0.71±0.19,0.96±0.07,0.11±0.16 for auditory-only mode,audio-visual consistent mode and audio-visual inconsistent mode, respectively, 0.93±0.10,0.96±0.11,0.54±0.23 for normal hearing children in auditory-only mode,audio-visual consistent mode and audio-visual inconsistent mode, respectively.ConclusionThe Audio-visual consistent mode is the best one and the lip-reading can help hearing-impaired children in phonetic identification.

Hearings-impaired children; Lip-reading;Phonetic identification

1浙江中医药大学(杭州310053)；2山东省立医院集团眼耳鼻喉医院

石涯，女，安徽人，硕士研究生，主要研究方向为耳聋康复。

王永华(Email:wangyh@vip.sina.com)

10.3969/j.issn.1006-7299.2016.05.015

H018.4

A

1006-7299(2016)05-0482-04

网络出版时间：2016-6-2916：10

网络出版地址：http://www.cnki.net/kcms/detail/42.1391.R.20160629.1610.016.html