基于深度卷积神经网络手语翻译系统的教学改革探索

李栋 李大华 高强 于晓

摘要：為提高我国聋人高等教育水平，提出了一种基于ALEXNET神经网络手语翻译系统的教学模式。该教学模式根据神经网络设计一种手语自动识别系统，通过跟踪手部运动轨迹，将动态手语信息转化为特征信息，从而完成手语信息向语言文字信息的转化，实现教师和学生之间的信息交流。该系统能够帮助教师了解聋人学生课堂知识掌握情况，提升课堂教学效率，增强了聋人学生的课堂参与度，能够促进我国特殊教育的发展。

关键词：聋人高等教育;人工神经网络;手语识别;课堂交流

中图分类号：G642.0   文献标志码：A

特殊教育事业一直是我国教育事业发展需要攻克的难关，其中高等教育更是一个重点[1]。本文基于深度卷积神经网络提出一套针对聋人工高等教育改革方面的手语翻译系统[2]，将卷积神经网络应用于听障大学生手语语法分析[3-6]。

1 听障大学生在高等教育教学中存在的问题

普通教师在教学过程中，教师会根据在传授知识时学生的反应与学生对课堂知识的吸收程度对课程进行教学上的调整。30%左右的聋人与正常人的沟通存在着很大的障碍，这就导致聋人学生在课堂上的疑惑并不能及时的得到解决，问题积累过多，会导致学生不愿意与教师进行沟通，从而形成恶性循环。

2 基于深度卷积神经网络的手语识别模型

目前，国内许多研究人员针对手语翻译问题已经提出了一些想法，天津理工大学的袁甜甜等人提出一种基于深度学习（Deep Learning）[7]的中国手语翻译系统，该系统利用CNN提取视频特征进行预训练，利用两层LSTM用于脱机机器翻译。并且与天津理工大学聋人工学院一线教师及教育学专业研究生共同设计语料库文本，共形成了一万句中文文字在10个至30个之间的句子范畴，最终能够取得较好的识别效果。西安建筑科技大学的王民[8]等人将图像语义分析的思维引入手语识别研究中，提出一种优化全卷积神经网络算法对手语进行识别，平均识别率达到了94.41%。

本文提出基于深度卷积神经网络的手语翻译系统的网络模型，该模型选取ALEXNET深度模型作为基础网络框架，用于获取手势运动轨迹的高层属性特征，进而实现对手语的识别。该方法由两部分组成，分别是手势运动信息的预处理和ALEXNET的训练及手势含义的识别。

3 基于深度神经网络的手语翻译系统实现方案

手语识别系统将学生表达的手语信息转化为文字信息传递给授课教师，实现课堂互动及信息交换。当教师需了解学生对于所授知识的理解程度时，启用手语检测功能，学生利用手语表达理解程度，采集设备实时记录学生动作，并跟踪学生手部运动轨迹。其后启用手语分析功能，系统将采集的轨迹图像输入经过训练的ALEXNET卷积神经网络中，网络会输出不同轨迹动作相对应的含义。手语识别系统运作方式可分为以下步骤：学生检测、手语记录、信息分析、选择两类学生动作，即“听懂”和“听不懂”、 状态重置。

利用现代人工智能技术对手语进行自动识别和分析，应用到高校的课堂教学中教师和学生之间手语动作的翻译和信息传输交流，实现手语动作和语言之间的无障碍融合，不仅提高听障学生在课堂中获取知识的效率，同时帮助听障学生进行课堂知识讨论并加深理解。

4 总结

利用手语识别系统，能够实现课堂中学生手语动作的轨迹跟踪，并分析手语动作所代表的语言含义，传输给授课教师，实现了课堂中教师和学生之间的信息交流，通过人工卷积神经网络的信息分析，将手语动作信息转换为语言文字信息提供给教师，实现了良好的识别效果，为教师和学生之间的互动提供很好的帮助，分析结果准确有效。

参考文献：

[1]宁远.国务院印发《关于加快推进残疾人小康进程的意见》[J].现代特殊教育，2015（05）：42.

[2]张茂聪. 中国残疾人教育事业发展70年[N]. 中国社会科学报，2019-11-07（004）.

[3]刘春颖.以新媒体拓展高校听障学生思想政治教育渠道[J].文化创新比较研究，2018，2（03）：195-196.

[4]黄莺.信息技术应用于听障生语文教学的实践[J].文学教育（上），2019（05）：90-91.

[5]Anwar Alsalamah. Using Captioning Services With Deaf and Hard of Hearing Students in Higher Education： A Systematic Review. 2020， 165（1）：114-127.

[6]吴玉超，林岚，王婧璇，吴水才.基于卷积神经网络的语义分割在医学图像中的应用[J].生物医学工程学杂志，2020，37（03）：533-540.

[7]闫凯. 基于深度学习的3DMRI脑肿瘤分割算法研究[D].中国科学院大学（中国科学院深圳先进技术研究院），2020.

[8]王民，郝静，要趁红，史其琦.基于优化全卷积神经网络的手语语义识别[J].激光与光电子学进展，2018，55（11）：214-220.0D652B42-827B-41D2-B201-DEBB6A426068