基于Android手语动画软件设计

李岗 蒙森荣 秦岳洪 张雨松

摘   要：为了促进聋哑人与正常人之间的沟通交流，文章研究设计了一个基于Android平台的手语翻译APP。本系统采用Web服务器，通过自然语言处理、3D动画建模、动画播放处理、Android开发等技术，实现了一款以Android客户端与Web服务器相结合的移动应用。本系统首要考虑的是使用的便捷性，不仅能够作为聋哑人士与正常人沟通交流的渠道，还可以作为一款手语学习APP，使手语能够广泛应用到日常生活。

关键词：语音识别;自然语言处理;自然语言转手语

随着社会生活质量和国家综合能力的不断提高，我国越来越重视国民的教育以及交流问题。然而长期以来，聋哑人与正常人之间的交流问题一直是一个薄弱环节。聋哑人是我国的弱势群体之一，据第6次全国人口普查我国总人口数、第二次全国残疾人抽样调查我国残疾人数占全国总人口数的比例和各类残疾人数占残疾人总人数的比例，推算出我国聋哑人总人数已超过2 600万人。

在日常生活中，聋哑人以及聋哑人与正常人之间的相互沟通都是通过手语来实现。聋哑人的听力障碍导致大部分聋哑人受教育程度不高，在大部分普通类学校中，都忽视了手语方面的教育，只有少数师范类高等院校的特殊教育专业才会开设手语课。手语教育的匮乏，进一步加剧了正常人和聋哑人之间的交流屏障。聋哑人等残疾人士因为无法像正常人一样融入社会，产生的心理问题以及对社会的影响都是难以想象的[1]。

1    现状分析

随着社会的不断发展，我国也越来越重视国民的教育和国民之间的交流，对聋哑人与正常人之间的交流更加重视。相应的，手语的需求市场不断扩大，专业化的手语翻译教育机构及研究项目也越来越多。诸如现阶段已在市场上出现的微软研究所和中科院联合开发的Kinect手语翻译系统，日本东芝公司发明的人形交互机器人Aiko Chihira等均可以进行手语的翻译。本文所开发设计的手语翻译APP灵感正是来源于此[2]。

科学影响着我们生活的方方面面，尤其是当今最流行的科技产品—手机，在日常生活中随处可见。在手机市场中，Android移动应用手机占主要地位，手机网民占总网民的比例高达97.5%。同时，科学也大大促进了教育事业的发展，如今，我国的教育事业已经进入了一个发展的高峰期，但对聋哑人与正常人之间的交流重视程度仍然没有得到大幅的提升[3]。因此，为推动聋哑人与正常人之间的交流，本文对基于Android平台设计的一款针对聋哑人与正常人交流的移动APP应用进行阐述。本软件操作简单，易于快速学习与交流，系统设计流程如图1所示。

2    系统设计分析

2.1  需求与内容分析

本应用的设计满足了大众的需求，主要有手语翻译模块和学习模块两大功能模块。

（1）手语翻译模块：实现用户在客户端手动输入文字，客户端发送文字数据到服务器，服务器再对自然语言进行处理并找到与其语义相对应的手语动画视频，找到后服务器发回视频数据给客户端的功能。除了文字输入外，该软件还可以进行语音输入，软件可以自动对输入的语音进行识别然后将其转换为文字，此项设计的主要功能在于可以提高用户的交互体验[4]。

（2）学习功能模块：提供了相应的手语图片、手语资源动画库供用户进行学习。学习模块由于手机硬件等能力的限制，暂时将手语动画储存在服务器端。用户可以直接在学习板块中进行手语学习，也可以直接运用搜索栏进行相关手语的搜索，当用户进行文字输入时，能及时获得由服务器端提供的手语动画，可以方便用户进行学习或交流。

2.2  系统架构以及功能

基于Android的手语动画软件系统整体架构如图2所示，包含服务器、安卓客户端以及数据库。由于Android平台的开放性，考虑到软件的兼容以及编译的可行性，我们对于软件的设计在Android studio上完成。该平台对于Android软件的编译有着很好的扩展性以及便捷性。本次系统设计采用MVP架构，将视图逻辑与数据逻辑进行隔离，提高Activity的扩展能力[5]。

（1）数据库：存储系统数据的地方，数据包含已有的模型和通过模型建立的几个基本动作以及通过Miku Miku Dance动作捕捉合成的基本语句手语动作动画。

（2）服务器：用来实现用户到数据库和数据库到用户之间的数据交流，起到一个桥梁的作用。

（3）安卓客户端：安卓客户端通过局域网与服务器终端相连，遵循网络TCP/IP的各层之间的重要协议。当用户发来数据请求时，服务器可以及时响应。系统服务器与数据库的联合使用，使服务器成为整个系统的数据交互中心，能够及时作出数据的同步处理。

2.3  关键技术

2.3.1  3D动画建模

在模型创建方面，采用了3D动画建模技术，可以实现面部表情以及对动作的优化。市场上3D建模软件有很多，但大多不尽人意。本软件采用了Miku Miku Dance建模，原因是MMD已有模型众多，方便采用，而且MMD对于动作的捕捉和优化比较便捷。在模型动作方面，kinect和mikumikudance是可以连在一起做捕捉的，但kinect的捕捉效果有些不如人意，大多数MMD的动作数据应该是手工K帧的，缺点是工作量略大。文章利用这个软件制作了一个参考模型，并建立一些基础的动作模型，由这些动作模型对动作进行捕捉，合成简单的日常对话语句。最后，将建立的动作捕捉形成的动画储存在服务器端，构成一个手语资源动画库[6]。

2.3.2  自然语言处理

主要是自然语言识别与语义理解。本文解决方法是创建一个自然语言库和语义上下文词典。自然语言库收纳了聋哑人日常生活常用词句，并对文字词句与动画视频进行了一对一的映射。语义上下文词典中收纳的是词组的同义词、近义词以及一些表达特别类似的句子。在客户端传输来的文字，按语言上下文詞典进行过滤，找唯一对应的一个词句，对语言库进行查询，找到与之映射的视频路径发回给客户端，最后客户端按该视频路径播放该手语动画视频。

除在客户端手动输入文字外，我们还使用了语音转文字的方法—客户端集成科大讯飞语音识别，能够将语音准确识别，可以为用户提供更为方便快捷的文本输入操作，本系统的文字处理过程如图3所示。

2.3.3  动画播放处理

当客户端获得动画视频路径后，使用Android本地的VideoView进行网络视频播放。为此，采用了基础的超文本传送协议（HyperText Transfer Protocol，HTTP），在连接局域网的前提之下，从服务器端加载动画进行播放。

2.4  实验运行结果与分析

2.4.1  运行环境以及参数

（1）硬件环境要求：普通PC端用于安装手语翻译应用平台服务器;Android手机用于安装手语翻译APP客户端。

（2）软件环境要求：普通PC安装Windows操作系统，含有结构化查询语言（Structured Query Language，SQL）数据库、Tomcat Web服务器运行环境。

（3）网络环境要求：支持TCP/IP的网络环境，或搭建一个简单的局域网，以便进行客户端与服务器、数据库之间的数据交流。

本实验中，APP软件采用的是Android studio编写，数据库采用SQL Sever数据库，具有很好的可移植性。首先，将服务器文件安装在实验的PC机上，需要注意的是，本实验采用的服务器是建立在Tomcat上的。其次，需要将数据库基础动画模型导入服务器所在的PC机本地数据库文件并把数据库文件导入本地SQL Sever数据库中。Android客户端安装手语翻译APP，并通过局域网或者移动数据与服务器建立连接。如果处于服务器未打开的状态，那么客户端即用户端将不能检索到任何数据，得不到服务器的响应，不会生成手语动画。

2.4.2  实验运行结果

APP首页面是进行检索页面，当用户点击搜索框时可以选择两种方式输入文本：（1）通过调用输入法，将文字输入到搜索框。由于Android平臺的开放性，用户可以任意选择使用输入法。（2）语音输入，语音识别调用算法后，具有很高的保真性，能够准确无误地将语音内容翻译成文本并显示在输入框。

用户点击搜索后，将信息反馈到服务器端，同时，弹出播放视频页面。服务器端根据客户端发来的文字调用算法检索数据库。若检索失败则会返回提示信息，若检索到相关动画，则返回视频，用户端就可以通过网络对视频进行加载播放。在服务器端，我们提前建立了一些动作模型，根据动作捕捉合成部分手语语句以供用户参考。在客户端学习页面，包含一些常用手语的解释内容，用户可以学习掌握。

3    结语

基于Android系统的良好性能和开放环境的扩展性，课题小组对手语翻译助手APP进行设计。设计初期难免遇到不同程度的挫折，遇到的Bug也非常困扰开发人员，但经过后期不断改进测试，本软件处于安全稳定运行状态，且操作方式也较为简单。但不可否认，设计的软件之中仍有许多可以改进的地方[7]。

本文所使用的技术与方法基本都是已有技术的改良与创新，用创新思想开发本软件。本类手语翻译的产品也是推动手语专业化发展的媒介，手语翻译APP除了可以实现并解决聋哑人与正常人的交流问题外，还可以成为聋哑人士建立自信、获得尊重的助力产品。科学技术的发展推动手语教育的发展，有助于实现聋哑人与正常人的零距离交流。

[参考文献]

[1]彭成，高沛，周晓红.基于Android平台的校园助手研究与实现[J].湖南工业大学学报，2018（5）：44-49.

[2]王卫民，金力.基于Android的手语动画自动生成软件设计[J].电子设计工程，2017（18）：42-45，49.

[3]肖晓燕，高昕，赵肖.中国大陆手语传译调查：现状、问题与前景[J].中国翻译，2018（6）：66-72.

[4]秦泽秀.基于Android平台的手势与语音转换技术[J].电子世界，2019（1）：159-160.

[5]蒋燕翔.基于Android平台的景区交互式智能导游系统设计[J].电子技术与软件工程，2019（3）：35-36.

[6]王嘉鹏.基于Android的便携式智能医疗仪的设计[J].教育教学论坛，2019（4）：82-83.

[7]刘英子，方嘉俊，温昕，等.双向交流手语翻译器[J].物联网技术，2018（10）：7-11.

Abstract：In order to promote communication between deaf-mute and normal people， this paper designs a sign language translation APP based on Android platform. The system uses Web Server， natural language processing， 3D animation modeling， animation playback processing， Android development and other technologies to achieve a mobile application that combines Android client and Web Server. The primary consideration of this system is the convenience of use. It can not only serve as a channel for communication between deaf-mute and normal people， but also as a sign language learning APP， enabling sign language to be widely applied to daily life.

Key words：speech recognition; natural language processing; natural language to sign language