智能语音识别技术在听力残疾学生课堂教育中的应用

摘要：作为人工智能领域中研究、使用最广泛的技术之一，智能语音识别技术已经服务于科研、制造、医疗、教育等行业。为实现教育信息的无障碍沟通，语音识别转写技术在特殊教育领域，特别是在听力残疾学生（又称听障学生、聋生）的课堂教学上得到应用。文章通过探究语音识别转写技术在某省特殊教育职业院校听力残疾学生课堂教学中的实际应用情况·发现语音识别转写技术在听力残疾学生课堂教学上的优势与不足，对语音识别转写技术在特殊教育领域的发展进行展望，以期促进人工智能与特殊教育事业更深层次的融合与发展。

关键词：智能语音特写；语音识别；听力残疾；特殊教育；聋生

中图法分类号：TN912 文献标识码：A

１ 概述

１．１ 智能语音识别技术

智能语音识别技术是人工智能领域中应用较广泛的一门技术，包含语音合成、语音识别、口语测评、语义理解、自然语言理解［１～２］ 、机器翻译等语音识别技术，其将收集的语音转换成文字进行表达。

１．２ 国内语音识别技术的发展

我国语音识别技术的发展起步较晚，“国家高技术研究发展计划”（８６３ 计划）和“国家重点基础研究发展计划”（９７３ 计划）实施后，中科院声学所等研究所、国内顶尖高校及研究团队纷纷投入到语音识别技术的研究中。２０１５ 年，清华大学建立了第一个开源的中文语音数据库。２０１６ 年，上海交通大学相继提出了ＶＣＤＮＮ（Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ） 和ＶＤＣＲＮ（ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ），在提高噪声语音识别性能上做出贡献。百度、科大讯飞、阿里巴巴等公司在语音识别的核心技术研发上持续投入了大量精力，并将研究成果快速落地［３］ 。

目前，国内主流的语音识别技术主要依靠大词汇量连续收集语言数据，并基于深度神经网络进行模型构建和训练。我国正处在大力发展信息技术的热潮中，经过几十年的研究，如今，中文语音识别技术迅猛发展，已达到国际领先水平，基于智能语音识别技术的语音识别转写系统被广泛应用在制造、教育、医疗、办公等领域，因其具备实时将语言有序、准确、完整地识别转换成文字，并将其记录保存的强大功能，受到智能会议领域的青睐，对于打造“信息无障碍”的交流环境发挥了重要作用。

２ 智能语音识别转写技术在听力残疾学生课堂教学中的应用与实践

２．１ 传统课堂教学现状

因先天或后天因素影响，听力残疾学生的听力功能低于健全学生。听力残疾学生难以直接用有声的听觉语言符号进行交流沟通、传递信号、表达思想，取而代之的是各种视觉语言符号（如手语、文字、图像等）。

手语是听力障碍者使用的特殊语言，是听力残疾学生交流、学习、沟通的重要手段，也是听力残疾学生教育（包括聋校教育、特殊教育学校聋教育等）教师使用的主要教学语言之一。任课教师通过手语翻譯、黑板板书和多媒体图像、教具展示等方式进行课堂教学，在课堂教学中难免遇到各类问题。

２．２ 课堂教学中存在的问题

（１）特殊教育学校听力残疾学生的课堂大都以教师手语演示配合口型开展课堂教学，同时辅以多媒体技术和课程相关教具。为做好课堂教学工作，教师需将原本口语表达的知识翻译成手语再进行教学，备课和授课压力巨大。

（２）由于各地手语习惯的不同，很多听力残疾学生并不能理解教师官方手语的含义，在手语交流学习中会因相互间不同的手语习惯增加了课堂教学交流难度，容易产生误解。

（３）学生课堂学习质量受教师手语能力影响明显，手语能力好的教师在授课时更加游刃有余，手语通俗易懂，学生听课质量较高；相反，手语水平相对较弱的教师受手语能力限制，在讲解时容易出现手语不熟、不会，表达错误等情况，很难发挥出原本的授课水平，加大了学生理解消化课堂知识的难度。

３ 语音识别转写技术在听力残疾学生课堂教育中的应用实践

案例介绍：本研究以某省特殊教育高职院校２０２０年采购的智能语音转写系统为起点，通过调研２ 年间该校智能语音转写系统在听力残疾学生课堂上的应用情况，探讨智能语音识别技术在特殊教育领域的优势与不足。

研究对象：该校２０１９ 级计算机专业某听力残疾学生班级全体学生和任课教师。

研究时间：２０２０ 年９ 月～２０２２ 年６ 月。

研究方式：观察法、问卷调查法、访谈法。

学情分析：如表１ 所列。

研究内容：研究该班级在不同课程的课堂教学上应用语音转写系统的效果。具体如表２ 所列。

研究结果：通过在研究对象的课堂中引入智能语音识别技术，采用观察法、问卷调查法、谈话法等，得到以下调查结果。

在将智能语音转写软件投入课堂使用后，对研究对象进行问卷调查，现摘抄相关问卷题目如下，相关调查情况如图１～图９ 所示。

题目１：“你希望使用实时语音转文字识别软件吗？”［单选题］

题目２：“你在平时学习中是否用过“语音转文字工具”，如讯飞、音书等？”［单选题］

题目３：“你觉得在平时的课程教学中用哪种形式学习效果较好？”［单选题］

题目４：“你认为在课堂上，教师使用实时语音转文字的益处有哪些？”［多选题］

题目５：“你觉得采用‘语音转文字工具结合手语教学与传统的手语教学相比有哪些好处？”［多选题］

题目６：“你认为在课堂上，教师使用实时语音转文字上课时存在哪些问题？”［多选题］

题目７：“请问是什么原因导致你无法／ 降低使用实时语音转文字软件？”［多选题］

题目８：“你觉得使用‘语音转文字工具对你们学习交流有帮助吗？”［单选题］

题目９：“你最希望语音转文字识别软件做出什么改进？ 请提出建议。”［多选题］

通过与任课教师进行谈话交流，针对“你最希望语音转文字识别软件做出什么改进？”及“你还期望该语音转写系统拥有哪些辅助功能？”等问题，任课教师提出了软件的使用应与课堂教学进一步融合等意见和建议。

通过将智能语音转写技术应用到听障学生课堂上的真实体验，加上各种调查方式辅助研究，得出了以下研究结论。

研究结论：智能语音转写技术在听障学生课堂上的应用实现了听障学生课堂教学的“语音可视化”，对于构建“信息无障碍”课堂有很大帮助。但智能语音技术的课堂应用还受网络、口音、操作等诸多因素的影响，在技术上仍有可改进和进步的空间。

结论一：语音识别转写技术实现了对手语的补偿性作用。语音识别转写技术可以将一些难以用手语翻译的专业术语、学术语言等，实时转译成文字呈现在课堂上，弥补手语翻译的不足，帮助听力残疾学生进行理解；也可以帮助手語不熟练的新入职教师快速适应教师角色，在课堂教学中，可借助语音识别转写技术的字幕讲解，解决手语不熟练的问题，破除师生间的交流障碍，提高学生课堂学习质量。

结论二：听障学生在软件学习类课程上对于语音转写技术的需求更高。例如， 在学习如何使用Ｐｈｏｔｏｓｈｏｐ，ＩｎＤｅｓｉｇｎ 等软件课程时，授课教师通常需要边演示软件使用教程边讲解知识点，既要用手操作软件，又要用手进行手语讲解，在这类课堂教学上，教师容易“手忙脚乱”或“手足无措”。智能语音转写系统的应用，可以将教师讲解的知识点像字幕一样实时、有序、准确地展示出来，一方面解决了教师一边操作计算机一边手语演示的难题，另一方面也极大提高了课堂的教学质量。

不过，智能语音转写技术并不是在所有的课堂上都大受欢迎。例如，在语文、思政等以理解为主的文化类课上，考虑到听障学生先天在文字理解上的弱势，为了让听力残疾学生明白知识要点，首先会使用手口结合的手语并配合多媒体视图等图文并茂地进行讲解，在遇到极少数手语不太好讲解的地方可采用语音转写系统辅助理解，在此类课程中，智能语音转写技术主要起到辅助教学的作用。

结论三：智能语音转写技术在听障学生课堂教学应用中仍存在较大的改进空间。

语音识别转写系统的操作应更简单易上手。

（１）案例中的语音识别转写系统由系统客户端和展板客户端２ 部分组成，需要多客户端协同操作，操作步骤较为复杂，信息技术水平较低的人在使用时存在一定难度。

（２）案例中的语音识别转写系统在功能上更倾向于智能会议的记录、实时字幕、编辑等，商用价值高，在听障学生的课堂教学上，服务特殊教育、弥补特殊教育智能课堂的属性不足。另外，转写展示的文字缺少实时交互的功能，教师不能在课堂上对实时转写后的文字进行即时编辑（标注、勾画等），尤其是当出现转写错误时，任课教师也不能第一时间进行书写修正，容易出现理解错误。

（３）受环境噪声、回声干扰、发音习惯和口音、网络速度、语音内容专业性强等因素影响，在实际使用中，语音实时识别转写的准确率并没有达到９０％以上，转写准确率较低，影响听力残疾学生对于知识点的理解。

４ 展望

４．１ 打造个性化智能语音转写系统

受听力功能障碍影响，听力残疾学生无法直接通过声音与外界进行信息交流，取而代之的是视觉捕获。即无论手语、文字还是视频图像，听力残疾学生都需要用眼睛来捕获信息，传递给大脑进行分析理解，进而形成反馈。

过度的用眼需求容易使听力残疾学生在视觉捕获时出现用眼疲劳，而语音识别转写技术是将语音转换成文字展示。在课堂学习时，学生既要看任课教师的手语演示，又要阅读屏幕上的文字，大幅增加了听力残疾学生用眼睛去观察和阅读的难度。

研究发现，很多听力残疾学生本身对阅读“缺乏内心的渴望和兴趣”，阅读兴趣并不浓厚，即使有一定的兴趣，但受阅读能力和理解能力的限制，听力残疾学生也不一定能完全理解文字的含义。因此，在语音快速的转写过程中，听力残疾学生既要关注授课教师的手语演示，又要理解、消化屏幕上转写的文字含义，无形中加大了听力残疾学生学习的难度。部分学生会因为视线上的无法兼顾且文字内容晦涩难懂而产生厌烦情绪，影响课堂学习。

４．２ 智能语音转写技术与课堂高效融合

由于市面上大多数具有语音识别转写技术的系统应用都是为各种论坛、展览、会议服务的，在功能上更倾向于对会议、论坛演讲发言的全程语音记录与实时转写。其既能保证会议记录的完整性，打破会议记录只能依靠人工速记的局限，又能以短延迟、高准确率地实时转写上屏分享发言内容，方便参会人员听看结合，全面了解会议内容。此系统针对会议资料，具有收集、整理和后期编辑功能，适合中小型会议的记录与资料整理。因此，在实用功能上更多体现的是其商用和办公价值。

在听力残疾学生课堂上应用语音识别转写技术，可以提升听力残疾学生在课堂上接收知识的广度，了解教师口语表述但未手语翻译的内容，尤其给手语基础较弱的年轻教师带来了便利。但在应用过程中也暴露出一些问题。例如，针对上文中提到的操作不方便、缺少实时互动、转写准确率等实际问题，提出以下改进建议。

（１）提升语音转写技术在展示时的灵活性，使讲述人可根据讲述内容随时决定中止、暂停、继续语音转写展示。在授课时，任课教师以手语讲授为主，在遇到不方便手语翻译或手语授课困难时，灵活切换语音转写展示教学， 使任课教师可以更好地将手语与语音转写技术结合，既不过分弱化手语功能，又可以提高课堂学习质量。

（２）改进语音转写系统展示端窗口界面样式，考虑更利于教育教学、人性化的窗口界面，增加标记、画笔等交互功能，提升展示端产品在课堂交互上的使用感。

（ ３）提高声纹识别的准确性，通过区分不同声纹来筛选语音转写对象，屏蔽杂音，提高转写准确率。

语音识别转写技术的发展和应用，不仅存在巨大的发展潜力，在针对听障学生课堂的特殊教育领域的应用和实践上也存在可探讨和改进的空间，这需要科研人员和教育工作者的共同努力。

参考文献：

［１］ 秦凤枝．解读人工智能语音转写技术在会议中的应用［Ｊ］．电子世界，２０２０（２２）：１９０?１９１．

［２］ 马晗，唐柔冰，张义，等．语音识别研究综述［Ｊ］．计算机系统应用，２０２２，３１（１）：１?１０．

［３］ 柳雯雯．特殊教育高职院校聋生阅读能力的培养［Ｊ］．现代职业教育，２０１９（２０）：２７２?２７３．

作者简介：王萧慧（１９８８—），硕士，工程师，研究方向：计算机教育应用以及信息化设备、多媒体设备的运维和管理。