基于虚拟成像技术与语音人机交互技术的移动终端的研究*

林　峻，陈锦彪

(广东电网有限责任公司 佛山供电局，广东 佛山 528000)



基于虚拟成像技术与语音人机交互技术的移动终端的研究*

林峻，陈锦彪

(广东电网有限责任公司 佛山供电局，广东 佛山 528000)

摘要：在智能电网发展背景下，针对电力一线作业人员应用平板电脑与PDA等，存在户外携带便利性较差，不能简化原有的工作，需要双手拿平板电脑或PDA操作录入等问题，结合电网发展对电子化作业的需求，探索将虚拟成像技术与语音人机交互技术应用于移动终端，详细阐述了其技术原理与实现方式，采用成熟的Mediatek平台与Android操作系统，配备高像素数码摄像头、双麦克风降噪处理系统，同时实现WCDMA、GSM、GPS、蓝牙和WiFi等通信定位功能，将所有功能集成于电力安全帽，形成移动作业的新平台。解放电力工作人员双手，实现了作业同时电子化办公、电力系统内的数据交换及远程可视指导作业等。在配网电力检修操作中进行新作业模式尝试，摸索出了科技成果在员工操作培训模式的改进方式，形成了全新的高效作业方式，具有良好的应用前景。

关键词：虚拟成像技术；语音人机交互；移动终端

近年来，随着我国智能电网建设进程的不断推进，对电力一线工作用安全头盔的要求也日益提升。传统的电力安全头盔起着防止高空坠物，降低头部伤害的作用，随着电网自动化和智能化技术的发展，亟需便携、智能和灵活的电子化作业移动终端，通过虚拟成像技术和语音人机交互技术，推动传统头盔向智能移动终端的升级。

1研究新型智能移动终端是电网发展的需要

1.1电力信息化发展现状分析

近年来，随着安卓系统的迅速普及，平板电脑和PDA在一线作业员工手上开始逐步使用。电力信息化系统从简单的表单，发展到后来的流程化管理，从少数人使用发展到每一个人的办公桌面上。现在，正在努力从每一个人的桌面发展到电力检修等作业一线。

然而，移动终端的普及还存在一些制约因素，包括：1)强光下查看时反光比较明显，尽管现在液晶屏厂家推出了全视角的IPS电容屏，显示效果还是不尽人意；2)平板电脑屏幕尺寸过小，显示出来的字体过小，对于一线员工来讲，辨别起来比较困难，尤其是对于那些年龄大的职工；3)操作不方便，尺寸小了，看不清，尺寸大了，端不了，携带也不方便；4)解放不了双手，使用时，始终需要用双手端着；5)遇到下雨天，屏幕一沾水，屏幕操作就会失灵。

1.2电网发展对电子化作业的需求

电力系统的信息化迫切地要求便于携带、方便使用的电子化作业移动终端，最终需要的是一种能解放双手、便于携带、功能强大和完全不影响一线人员作业的智能移动终端。而将虚拟成像技术与语音人机交互系统的移动终端应用于电力安全帽，使一线作业人员穿戴的人身防护工具拥有平板电脑、PDA等工具所有的功能，并在此基础上形成具有及时通信、摄像和导航等功能的超级终端，既能解放双手作业，又能通过语音交互完成电子化作业，这样的设备是作业一线需要的。

基于上述分析，本文开展了基于虚拟成像技术与语音人机交互技术的移动终端的研究，开发出一种基于虚拟成像技术与语音人机交互系统的移动终端，将虚拟成像和语音人机交互技术应用到电力员工的作业一线。不需要携带繁琐的设备，走到哪里，工作到哪里；及时发现问题，迅速解决问题；规范电力检修操作，推动智能电网的建设进程[1]。

2虚拟成像技术与语音人机交互技术简介和原理分析

2.1虚拟成像技术及其实现原理

虚拟成像技术是通过投影仪将影像投影到棱镜上，然后在人的视网膜上聚焦，在看到的现实图像上重叠图层成像，所成的虚像距离焦点无限远，使得使用者可以同时看到现实的内容与现实景物，虚拟成像技术最明显的体现就是头盔微显示器。

虚拟成像实现需要微型投影仪、棱镜，投影仪将图像投影出来，通过棱镜反射到人眼的视网膜上，形成一个远处的虚拟图像(见图1)。虚拟成像的具体原理如图2所示，投影仪将图像投影，投影光线经过棱镜反射，然后投入到人眼视网膜上形成虚拟图像。由于投影光线和现实图像光线是平行叠加，所以形成的虚拟图像和现实图像也是叠加在一起的。

图1　虚拟成像技术

图2　虚拟成像的具体原理

虚拟成像移动终端采用投影式光学系统，在现有的视频眼镜的基础上，深入研究其成像原理，根据其电气接口标准，外加对应的桥接芯片连接到微型智能系统，并使其能正常运行在当前流行的Android系统中。由微型智能系统的视频输出至微型投影仪上，虚拟图像通过投影透镜折射后，再由与光轴成45°角的分光镜反射到回射屏上，回射屏将入射光线沿与入射相反的方向反射回去，进入人眼中；而来自真实环境的光线则直接通过回射屏和分光镜进入人眼，从而实现虚拟图像与真实环境的叠加。虚拟成像技术可以解决小体积的大屏显示技术，使微机的显示系统很方便地应用于穿戴式的移动终端上[2]。

2.2语音人机交互技术及其实现原理

语音人机交互技术的核心是语音的识别及人机的交互控制。

语音的识别可以采用现有成熟的语音识别引擎，将常用的语音指令通过语音建模形成矢量模型存入本地语音库，例如，增加、删除、更改、查找、打开、关闭及数字1、2、3、…、9等常见操作命令的语音库，使其实现本地化[3]。

语音通过语音引擎识别后转换成字符，字符与相应的计算机指令匹配后，调用计算机指令集，通过计算机的指令接口，可以触发计算机的相应操作。从而实现计算的语音操作。

第三方软件的语音操作可以通过统一的语音指令接口，由第三方软件监听相应的指令，从而实现对第三方软件的语音操作。其实现方式如图3所示。

图3　语音人机交互系统的实现方式

通过上述方式，可以实现语音对系统及第三方软件的控制，从而实现人机交互，解放双手，提高一线员工的作业效率。

3基于虚拟成像技术与语音人机交互技术的移动终端的研究

3.1移动终端技术路线

首先，根据需要确认以目前产业链最为成熟的Mediatek平台，设计出基于Android操作系统的微型嵌入式移动终端。配备大容量锂电池，支持移动适配器(Travel Adapter)充电，并设计高效合理的快速开关式充电方案,系统将优化电源管理方案,使待机电流、关机电流以及工作电流尽可能小。

其次，考虑到现场作业可能需要拍照并上传至系统，配备支持高像素数码拍照功能的摄像头。为提高声控的人机交互系统效果和用户体验，采用双麦克风降噪处理系统。根据微型显示器(HMD)模组的接口需求，采用LVDS转接芯片，实现嵌入式移动终端的视频输出至HMD模组。其他的可通过Mediatek的手机移动芯片基带实现WCDMA、GSM、GPS、蓝牙和WiFi等常用的通信定位功能，为以后的移动作业通信奠定基础[4]。

3.2移动终端实现方式

移动终端将目前世界最前沿的虚拟成像技术，并辅以可以连接无线网络的微型化的嵌入式系统，应用于电力安全帽中，形成一种全新的信息化移动终端，该终端相当于将一台拥有超大屏幕的大型计算机系统嵌入至电力安全帽里面，它将有利于解决电力工作人员携带笔记本或者平板电脑的不便捷问题，特别是恶劣环境下(比如环境光过亮以至于看不清电脑屏幕显示，或者下大雨情况下)的户外作业等，且极好地解决了便携音视频设备与超强功能的便携设备的矛盾——大型屏幕显示与极小的体积的矛盾。无线网络则可有助于将现场调试的数据上传至电力系统。考虑到现场调试的便捷性，移动终端还将语音控制系统集成于电力安全帽中，并针对电力业务系统软件实现语音控制，这在目前业界属首创， 即使谷歌眼镜亦未实现该功能。它将解放电力工作人员敲打键盘的双手，实现更便捷的现场办公，配合无线网络还可以实现电力系统内的数据交换,以及远程控制和远程调试。基于虚拟成像技术与语音人机交互技术的移动终端的外观图如图4所示。

图4　移动终端的外观图

3.3移动终端实现意义

基于虚拟成像技术与语音人机交互系统的移动终端在佛山顺德供电局的某变电所演示了配网电力检修操作，进行了提高电力检修质量及安全性的新作业模式尝试。摸索出了新科技成果在员工操作培训模式的改进方式，形成了全新的高效作业方法。

4结语

随着智能电网的发展，电力系统的信息化迫切地要求便于携带、方便使用的电子化作业移动终端。基于虚拟成像技术与语音人机交互技术的移动终端能够较好地解决这些问题，不仅能够解放一线人员的双手，而且便于携带、功能强大和完全不影响一线人员作业；因此，具有良好的应用前景。

参考文献

[1] 江洁，王昊予，张广军．虚拟扩展成像在大视场姿态角测量中的应用[J].北京航空航天大学学报，2011，6(22)：6-8．

[2] 石磊，范志刚. 虚拟红外成像器件的模拟输出电路设计[J].自动化技术与应用，2012，6(10)：66-69．

[3] 张哲超.成像系统中的光谱反射率重建[D].杭州：浙江大学，2010.

[4] 丁玲.考虑相位加权的邻点滤波虚拟成像处理技术[J].科技通报，2014，6(12)：44-46．

* 中国南方电网有限责任公司科技项目(030600KK52140058)

责任编辑彭光宇

The Research of Mobile Terminals based on Virtual Imaging Technology and Voice Human-computer Interaction Research of Mobile Terminal

LIN Jun， CHEN Jinbiao

(Guangdong Power Grid Co.,Ltd.， Foshan Power Supply Bureau， Foshan 528000， China)

Abstract：Under the background of the smart grid development, the tablet computers and PDA when applied in the power line homework personnel have poor outdoor carrying convenience, can not simplify the original work, need hands to carry tablet PC or PDA. Combined with power grid development on the demand of electronic exploration, apply virtual imaging technology and speech interactive mobile terminals, elaborate on the technical principle and implementation way, use the mature Mediatek platform and Android operating system, equip with high pixel digital photo head and the double microphone down processing. Realize the WCDMA and GSM, GPS, bluetooth and WiFi positioning functions at the same time loith as communication and integrate functions in the power safety helmet to form the new platform of mobile operations. Hands liberation tapping at a keyboard power staff achieves the operating electronic office in the power system data exchange and remote visual guidance, etc. New operations are tried in the operation of the power distribution network maintenance mode, the scientific and technological achievements in the improvement of operation training mode are got, and form new practices with a good application prospect.

Key words:virtual imaging technology， voice human-computer interaction， mobile terminals

收稿日期：2015-06-05

作者简介：林峻(1972-)，男，助理工程师，技师，主要从事电力系统自动化、软件工程等方面的研究。

中图分类号：TM 0

文献标志码:A