孙亚鹏,海源,徐文权
(1.湖南科技大学,湘潭 411201;2.湖南理工职业技术学院,湘潭 411104;3.安庆师范大学,安庆 246133)
基于Android移动智能终端的普通话评测App的设计与实现
孙亚鹏1,海源2,徐文权3
(1.湖南科技大学,湘潭 411201;2.湖南理工职业技术学院,湘潭 411104;3.安庆师范大学,安庆 246133)
开发一个普通话语音评测App,利用讯飞语音的接口,实现对普通话的智能评测,对每段经过预处理去噪增强的普通话语音进行评测打分,让普通话学习者能够在任何时间任何地点无限制的学习普通话,并获得实时评价和反馈,这将极大地方便广大普通话的学习者,使得学习者能方便地在有指导、有反馈的状态下学习普通话,对个人来说学习效率更加事半功倍,对推广和普及普通话也有着很大的帮助效果,是一件非常有意义的工作。
湖南省2015年语言文字应用研究专项课题(No.XYJ2015GA01)、湖南省普通高等学校教学改革研究项目(No.2014-281)
普通话的推广和普及是国家的一项重要工作,如何利用现在大量的智能设备与无线网络等科技产品来进行普通话的学习和推广是一项十分有意义的工作[1]。笔者结合自己多年教学管理和计算机教学的经验,利用无线网络和智能技术,开发了一个基于Android移动终端的普通话评测App。
该App通过调用讯飞语音的语言评测接口,使得每次发音练习可以给出具体的评测分数,给出一个总体评价和每一个音节的情况,例如多读了,少读了,读错了等。这些功能对于用户来说是非常有帮助的,一方面可以了解自己发音的不足,另一方面又可以根据其进行矫正发音。每次评测的单词或句子可以自己设置,句子或单词的来源是文件,只需要编辑好文件就可以实现特定的单词句子的评测。有效利用了现今大数据无线网络的有利条件来学习和推广普通话。
利用MyEclipse2014开发,使用Genymotion作为模拟器。MyEclipse是由Eclipse扩展而来,集成了很多的开发工具,如Java EE、Java SE、C、Maven等[2-3]。功能十分强大,包括可视化开发,所见即所得,代码自动生成,自动格式化等功能。
科大讯飞语音,语音识别领域的专家,致力于解决人机交互的最佳方案[4-5]。只要能联网,就可以通过移动互联网,或者互联网,在任意地点,任意时间段,使用任意的设备,享受讯飞公司提供的“听,说,读,写……”等多个智能服务。现在,讯飞开放了多种功能接口给开发者,包括,语音合成接口,语音唤醒接口,语音识别接口,移动应用接口等多种服务[6-7]。笔者开发的App在语音识别时调用科大讯飞语音免费接口。
首先通过移动智能终端设备的麦克风,接受语音输入,考虑到语音输入时环境一般不是安静的,存在噪声,所以先进行预处理,进行滤波去噪,语音增强,然后将经过预处理的语音文件根据需要,进行普通话评测[8-10]。调用了讯飞提供的免费普通话语音评测接口,将经过预处理的语音文件和文字信息发送给讯飞免费语音识别接口,讯飞通过对比文字的标准发音和评测发音给出反馈评价并发送回移动智能终端。普通话学习者可以根据反馈回的评价对自己的发音进行纠正,通过移动网络,可以在任何时间任何地点获得实时的辅导。如下图1所示。
图1 系统框架图
在人们进行语言交谈沟通的时候,往往大部分时候不是在安静的场所,一般受到噪声干扰的影响,这类是场景性的噪声;另外在语音进行处理、传送等时候,人们往往都是采取的电子设备,这类设备本身的特性也不是完全理想化的设备,往往带来一些波动,这也给语音文件带来了噪声。这样语音技术的去噪增强就一一项很有必要和意义的工作。
语音信号的去噪增强技术已经有很多学者专家提出了很多种有效的方法,根据本文所述系统的功能需求和特点,考虑到去噪增强处理的效率和实时性要求,本文选择使用改进的卡尔曼滤波器进行语音的去噪增强。
当用户进入到语音识别的功能后,系统加载默认的用来朗读的评测文字。用户可以重新选择加载的文字,再进行评测。
点击阅读后系统开始录音,再次点击就开始评测,完成后会有详细的结果给出。详细的结果在App的中间输出,对于每个音素都有评价,一个音素占一个格子。不同的评价结果用不同的颜色标注。一次评测结束后,重新选择源文件。改变待测试的单词或句子,进行下一次评测。流程图如图2所示。
图2 普通话评测流程图
按照设计的方案,编写代码,实现App。进入普通话评测后,即可对发送语音进行标准普通话发音的对比和评价,并且将反馈结果通过移动无线网络发回用户终端,保存显示。以下是准确、多读、漏读、重复度等几种典型的普通话发音评测结果的展示:
图3 准确朗读 的显示
图4 多读 的显示
图5 漏读 的显示
图6 重复读 的显示
准确朗读的情况,在给定的文字的朗读过程中,正确的朗读,讯飞语音识别时,将根据情况给出较高的分数或者满分,通过无线网络反馈给智能移动终端,最终在屏幕上反馈给用户,如图3。若干个字多读的情况,在语音识别的过程中,将被识别发现,导致评分降低,如图4。若干个字漏读的情况,讯飞语音识别时,将会识别出这种错误,导致评分降低,最终在屏幕上反馈给用户,如图5。若干个字重负读的情况,讯飞语音识别时,将会识别出这种错误,导致评分降低,通过无线网络反馈给智能移动终端,最终在屏幕上反馈给用户,如图6。根据App的评价,普通话学习者可以及时得到指导和评价,纠正自己的发音,有利于学习效率的提高。
首先,对App进行分析、研究,制定测试方案和计划;其次,对测试用例进行设计,设计过程中要考虑配合开发的整个进度,还有成本等等因素;再次,确认系统错误和缺陷,对发现的错误和缺陷形成文本档案;然后,修改去除错误和缺陷,并对修改的部分进行核实和再测试;最后,形成测试报告。
结合本系统的特点和各项实际情况,安排进行了如下测试。以软件内部逻辑和结构以及具体实现细节方面为侧重的进行了白盒和黑盒测试。以构件和集成功能为侧重的进行了单元、集成和系统测试。还有考虑输入的合法性方面为侧重的进行了边界值的合法性测试。受到笔者个人水平和实际条件的限制,一些测试方法未能进行,已安排和计划的测试也可能存在不够完善的地方。测试内容表如表1。
表1 测试内容表
由于在App开发设计的早期就有了测试的安排,所以在需求分析阶段,对形成的需求进行了核查,经过这项工作,发现了需求分析过程中收集的一些不是太符合现阶段国家普通话考试要求和形式的要求,经过修改和再核实后,新的需求更加符合国家普通话考试的培训和练习。
对各个小功能模块进行测试的时候,发现的小问题比较多,但是都不是严重的错误,基本都是类似数据格式定义不一致、条件语句逻辑不严密、边界值控制不严格等这类问题,在开发过程中,进行了调试和修改。但是不好的影响是,这类错误由于随手修改好了,并未归入文档进行记录。
在整体测试系统测试阶段,集成无线通信和监听通信端口的时候,发生了一些错误,经过查实后发现是对讯飞的接口调用格式不够了解所致,经过查阅资料后对格式进行修改后正确,并在修改后再次测试通过。
另外在最后的整体测试中还发现了一些人机交互不够人性化的问题,例如在屏幕上显示的字体过小,看起来比较费力。一些界面没有返回功能等,这类问题亦经过多次调整修改完善。
在测试过程中发生的错误主要包括了这些方面,需求分析不够深入全面,对国家普通话考试形式和普通话学习者的学习习惯还没有全面足够的掌握;部分模块的输入值边界检查和控制不够严格;代码编写过程当中逻辑思维不够严密,以及编写的代码可读性不够好;人性化的理念没有贯穿整个开发过程当中,造成一些界面编程完毕后又推倒重写等。总的来说该App基本完成了预期要达到的功能和目的,一些地方还有带完善和优化。
使用Android开发技术,结合免费的讯飞语音评测和语音输入接口,完成了这个App的编码和功能开发。按照预期,先对录入的语音信号进行卡尔曼滤波的去噪增强预处理,然后实现了普通话的评测功能,帮助人们纠正发音,实现了对普通话的评测,打分。具体到每个音节。包括多读,少读,漏读等。系统完成了预期的功能,但是还有很多改善的地方。第一,可以添加历史评测记录,以及错误发音字的准确发音提示。第二,在使用调查中发现,普通话测试是有一定的固定范围的,一般是在五十套题目中进行随机抽取组合,形成一套正式考试的试卷。在国家出版发行的普通话培训训练辅导教材上,大量的讲述和覆盖了这五十套题目。这样可以考虑在练习过程中加入考试原题,并且模仿考试的随机抽题组卷模式,在智能终端的题库中,将五十套题目全部录入题库中去。这样普通话的使用者可以更好地更加真实地进行考试训练。笔者将在后续的工作中针对上述问题进一步进行改进,以期更好地满足用户需求。
参考文献:
[1]郑世杰,张珑,赵云雪,赵松.基于语音自动评测的普通话学习系统研究[N].哈尔滨师范大学计算机科学与信息工程学院,2014,12.
[2]祖漪清.汉语连续语音数据库的语料设计[N].中国社会科学院语言研究所,1998,3.
[3]文林.基于改进MFCC的语音识别系统研究及设计[D].硕士学位论文,2011,05.
[4]李金领.基于语音评测技术的普通话网络考试系统实现[D].硕士学位论文,2011,10.
Design and Im p lementation of Mandarin E valuation B ased on Android Mobile I ntelligent T erm inal
SUN Ya-peng1,H AI Yuan2,X U Wen-quan3
(1.Hunan University of Science and Technology,Xiangtan 411201;2.Hunan Polytechnic Vocational College,Xiangtan 411104;3.Anqing Normal University,Anhui,Anqing 246133)
Develops a Mandarin speech evaluation App,uses the speech interface,realizes the intelligent evaluation of Mandarin,Mandarin speech to each section after preprocessing denoising and enhancement of evaluation score,makes Mandarin learners can atany time without lim鄄itation any place of learning Mandarin,and obtains real-time evaluation and feedback,thiswill greatly facilitate themajority of Mandarin learners,so that learners can easily in the guidance,feedback under the condition of learning Mandarin,for the individual learning effi鄄ciency ismore effective,for the promotion and popularization of Putonghua is also a great help,is a verymeaningful job.
孙亚鹏(1981-),男,湖南邵阳人,讲师,博士生,从事领域为复杂系统建模与优化以及教学信息化
2017-03-21
2017-04-20
1007-1423(2017)13-0055-04
10.3969/j.issn.1007-1423.2017.13.013
卡尔曼滤波;Android;语音识别;普通话评测
Calman Filter;Android;Speech Recognition;Mandarin Evaluation