基于PC-TV智能家居控制系统设计

2016-06-23 08:07申志伟李红伟李顺鑫
电视技术 2016年2期
关键词:语音识别人机交互智能家居

申志伟,李红伟,张 竹,李顺鑫

(1.西南石油大学 电气信息学院,四川 成都 610500;2.重庆天箭惯性科技,重庆 404100)

基于PC-TV智能家居控制系统设计

申志伟1,李红伟1,张竹2,李顺鑫1

(1.西南石油大学电气信息学院,四川 成都 610500;2.重庆天箭惯性科技,重庆 404100)

摘要:设计了一种基于嵌入式微控制器、PC-TV、物联网应用的智能家居控制系统。采用红外控制与无线网络结合方式,能够实现控制家居中各种设备的一体化控制。在人机交互上,保留按键操作,增加了语音控制模式,可通过简单的手势动作进行控制操作。用户可以通过PC-TV软件给主节点添加计划任务,设定自动的开关灯时间、拉窗帘时间、开关窗时间等。

关键词:智能家居;手势识别;语音识别;人机交互

智能家居概念起源于20世纪80年代初的美国,称之为Smart Home[1]。其经历了4代的发展:第一代是通过同轴线及两芯线完成家庭组网,进而实现灯光、窗帘及少量的安防控制等;第二代是通过总线及IP技术组网,能够完成可视对讲及安防的业务;第三代是集中化的智能控制系统;第四代则基于物联网技术可根据用户需求实现个性化的功能[2]。与普通家居相比,智能家居不仅具有传统的居住功能,同时能够提供信息交互功能,使得人们能够在外部查看家居信息和控制家居的相关设备。智能家居是一种以住宅为平台,集合布线技术、网络通信技术、自动控制技术以及新兴的物联网技术的含有很高科技含量的新型家居[3]。但目前大多数的老年人与残疾人并不适合使用现有的智能家居系统,主要原因是没有适合老年人与残疾人的合适的人机交互方案。因此,本文设计了这套具有全新人机交互方式的智能家系统。

本文设计了一款全新控制方式的智能家居系统,通过手持控制器与家居设备上的物联网无线数据收发器,将家中设备与手持遥控组成短距离的室内无线控制网络。本系统采用红外控制与无线网络结合方式,能够实现控制家居中各种设备的一体化控制。用户只需手持主节点控制器,通过简单的手势动作对家居进行控制操作。在动作控制的基础上增加语音控制模式,并保留按键控制。用户可以通过PC-TV软件设定自动的开关灯时间、拉窗帘时间、开关窗时间等。

1系统设计方案

PC-TV区别于一般意义上的计算机电视一体机。现有的计算机电视一体机由于计算机与电视在显示模式上的不同,两者之间需加一个信号转换器,以便将计算机输出的逐行扫描VGA信号转换成隔行扫描的电视信号,把电视当为显示器使用。PC-TV却能做到两者兼顾[4]。PC-TV既有电视的功能和VCD、DVD的播放功能,又有家用计算机所具有的一些功能[5]。

本系统以PC-TV为主控制节点,每个家居为子控点,主控制点和子节点在家中构成LAN,项目用WiFi无线网络通信。用户通过点鼠标和遥控器,语音任意一种方式发送控制命令,智能电视通过运算,来控制对家具操作。同时,智能电视还通过Internet网络连接实现外界的信息交换。

项目开发充分使用了PC-TV的Windows操作系统的丰富接口,以及其硬件资源,将系统的控制、人机接口、无线通信的接口和网关功能与智能手机集成为一体[6]。在Internet上使用Skype来实现视频通话,采用语音识别技术来实现指令的最简化。系统结构简单,成本低,容易被用户接受,特别适合有操作家具障碍的老人和生理缺陷的人使用。系统总体构成如图1。

图1 系统总体构成图

主节点具有手势识别、语音识别,可以将用户对主节点所做的手势、所说的语音命令以及所指向的设备转换成相应的控制指令,并且发送给对应的子节点。主节点与子节点采用2.4 GHz无线射频通信,使用内部锂电池供电。

1)主节点设计

主节点需要实现手势识别、语音识别、红外采集、高速数据处理、控制电视空调、发射无线数据、串口数据通信、数据掉电存储、内部实时时钟等功能。ST公司推出的STM32VET6核心板具有512 kbyte Flash、64 kbyte SRAM、76 MHz主频以及丰富的芯片外设完全满足高端控制需求[7]。

系统主节点通信部分采用利尔达公司的无线物联网收发器与子节点进行通信,主节点还带WiFi模块用于收发信息,可以对多种设备遥控器进行学习存储,空调等红外设备进行控制。

PCTV具备语音识别功能,只需用普通话说出关键字即可识别。主节点硬件结构图如图2。

图2 主节点硬件结构图

2)子节点设计

遥控器子节点的设计主要是在STM32VET6核心板的基础上,增加三轴加速度传感器、双轴陀螺仪传感器、9012红外接收头、红外发射头、LD3320语音识别芯片、24L01无线收发模块以及锂离子充电电池。其他子节点如电灯子节点,空调子节点,以及窗户及窗帘子节点需要实现红外码发射、无线电收发、继电器控制等简单功能,但对功耗要求较高。因此我们选用ST公司的CM3内核的STM32RB嵌入式为控制芯片作为各个子节点的控制芯片。遥控器子节点如图3。

图3 遥控子节点

3)红外辅助定位设计

红外接收采用带译码的红外接收芯片,主节点向子节点发出指令时需要对子节点所控制家居进行识别,为此给每一个子节点配备了一个红外发射头,子节点持续发射唯一的红外编码。内部集成有红外监测二极管、放大器、限幅器、带通滤波器、积分电路、比较器等[8]。红外监测二极管收到红外信号然后直接送入放大器和限幅器进行处理,限幅器会对脉冲频率进行限制,当脉冲频率在30~60 kHz的时候会将输出管脚置低。而红外的接收解码便是通过输出管脚的高低电平比率来实现的。当主节点指向子节点所控制家居时便会收到此红外编码。通过解析红外编码即可实现对所指向的家居设备的识别。这样不同家居设备之间不会存在控制相互干扰的问题。

4)电视空调控制设计方案

电视与空调为红外设备,直接由主节点发送红外完成。

5)电动窗户控制设计方案

窗户采用电动拉杆窗,窗帘采用电动卷式窗帘。通过继电器直接控制。

2系统程序流程

系统主程序中只做各个应用外设的初始化,在用户不触发外设的情况下系统不会运行任何程序。用户所有的操作处理均在中断函数中完成。

当用户对主节点进行相关操作时,系统会进入模式处理函数,此时系统会根据用户的操作决定下一步要进入的模式,以及系统的动作。系统模式控制流程图如图4a所示。

当模式控制判断为手势识别模式时,系统会进入手势识别模式,对手势进行判断,手势识别程序的流程图如图4b所示。

当模式控制判断为语音识别模式时,系统会进入语音识别模式,对语音进行识别,语音识别程序的流程图如图4c所示。

3功能与技术指标

3.1手势控制功能

用户可以通过手持遥控器做出系统预设的相关手势动作即可进行相关家居的控制。手势的动作可以通过PC-TV软件进行设定与编辑。如当用户手持遥控器指向窗户时,主节点会通过红外辅助定位,来辨别出前方是窗。此时将手中遥控器向下倾斜窗帘自动落下,向上则自动拉上;向左与向右倾斜窗户自动打开和关闭。只需按照定义的动作做出相应的手势即可对电视、电灯、空调进行控制。控制范围可达20 m以上,中间无不透光障碍物遮挡。

a 系统模式控制流程图

b 手势识别程序的流程图

c 语音识别程序的流程图图4 系统流程图

手势识别中比较重要的便是信号采集,采集方式的选取直接影响手势识别质量的好坏。考虑到STM32芯片具有多路的AD采集能力,因此选用了模拟的三轴加速度传感器与双轴陀螺仪传感器。采集到的数据通过算数平局滤波去除干扰,然后通过数字算法进行分析。采用的分析方法属于模式识别中的统计范畴,统计分类是特征值算法中的一种经典算法[9]。通过简单的分类,可以便于提取特定数据的特征值,利用计算出的特征值和与之动作的特征值进行比对,即可对动作进行判定[10]。

3.2语音控制功能

用户可以通过模式转换进入语音模式,此时只需对主节点说出控制命令即可对家居进行控制。LD3320芯片是一款“语音识别”专用芯片。该芯片集成了语音识别处理器和一些外部电路,包括AD、DA 转换器、麦克风接口、声音输出接口等[11]。该芯片不需要外接任何的辅助芯片如Flash、RAM 等,直接集成在现有的产品中即可以实现语音识别/声控/人机对话功能。并且,识别的关键词语列表是可以任意动态编辑的。

3.3按键控制功能

用户可以通过模式转换键进入按键控制模式。在按键模式下,所有家居的全部功能都将由两个按键实现。而按键的功能则是由主节点所指向的设备所决定的。按键控制基于红外定位功能的控制功能,可以通过主节点内置的角度传感器测量出当前主节点所处于的角度。通过角度与红外定位的结合,达到锁定控制家居的目的。

3.4PC-TV软件控制功能

为了实现智能家居系统与外部网络交互的功能,用户在WiFi连接的PC-TV上通过监控接口,随时改变家中设备的使用情况。使得用户更加方便的对家中设备的使用。系统的控制、人机接口、无线通信的接口和网关功能与智能手机集成为一体[12]。

用户通过对PC-TV上的监控接口,来了解家中设备的使用情况,从而节省能源,避免不必要的浪费,与此同时还方便操作。

用户通过简单的对电视操作,PC-TV就能通过Skype在互联网的帮助下,与外界进行视频聊天,采用语音识别技术来实现指令的最简化。可以让那些子女在外打拼的“空巢”老人在家,自己动手和子女进行视频沟通,让他们也感受到互联网智慧化对生活带来的便利,改善他们现有的生活状况。

3.5技术指标

1)手势识别动作复杂度要求低,所有动作均为某方向上的单次动作。允许用户可以有20%以内的误差,手势识别成功率90%以上。

2)语音识别最多支持关键词为50个,每个关键词的拼音转换成字符包括空格在内不超过20个字符。语音说话为普通话,说话距离在系统主节点30 cm以内。

3)手势识别加速度传感器工作的温度范围为0~45 ℃,手势的加速度最大输入范围为±1.5 g。

4)红外辅助家居识别的最大识别距离为16 m。手持主节点所指向的15°角以内只能放置1个子节点红外发射器。

5)主节点锂电池充电时间在2.5 h以内,使用时间在5 h以上。

4系统实现

4.1系统硬件实现

窗户子节点实物图如图5a所示,系统主节点实物图如图5b。

a 窗户子节点实物图      b 系统主节点实物图图5 系统硬件(照片)

4.2系统软件实现

系统软件实现如图6所示。

a 家庭监控界面     b 设备状态界面

c 在线视频界面图6 系统实现(截图)

4.3系统测试结果

手势操作、语音操作、按健操作的准确度测试结果如表1所示。

子节点红外发射管的发射距离与红外的编码以及发射管工作电流有关,如表2所示。

经过系统测试发现,在3种控制模式中按键模式

表1准确度测试结果

控制模式准确率/%灯窗窗帘空调PC-TV设定指向空处是否误操作按键模式951009595—一次手势识别90959090100一次语音识别9590909095两次

表2识别距离与电流和编码的关系

发射管工作电流/mA红外编码间隔时间/ms红外家居识别距离/m2050.56052.020102.060104.520255.060256.520509.0605020.0

的控制准确率最高,其次为手势识别,语音识别稍微逊色其他两种控制模式。通过数据可以看出当用户不使用该控制系统时建议切换到手势识别模式或按键识别模式而不是语音模式,为了防止日常对话中的误操作造成的错误控制从而给用户带来不必要的麻烦。

5总结

本系统一种基于嵌入式微控制器、PC-TV、物联网的智能家居控制系统,是一套多模式操作智能家居控制系统。具有手势识别功能,语音识别功能,利用被控制家居上的红外发射器,与主节点内置的红外接收装置,主节点控制器可以自行识别前方所指向的设备,子节点所有控制皆由主节点统一管理,便于系统增加新设备。从实际生活角度出发,为人们,特别是为老年人和残疾人的家居控制人机交互方式提供了全新的解决方案。

参考文献:

[1]李建生,丰云兵.构建广电大数据平台—网络广播电视台的发展思路[J].当代电视,2013 (5) :43-46.

[2]潘洪涛.大数据时代广电新媒体的发展[J].青年记者,2013 (27):21-23.

[3]BARIS Y,TOSUN M,KAAN M,et al. A GSM,internet and speech controlled wireless interactive home automation system[J].IEEE transactions on consumer electronics,2006,52(3):837-843.

[4]董士海.人机交互的进展及面临的挑战[J]. 计算机辅助设计与图形学学报,2004(5):14-18.

[5]曾祥永,王阳生,姚健.人机交互技术在游戏中的应用[J]. 游戏创造,2006,3(4):37-41.

[6]李虹. 物联网生产力的变革[M].北京:人民邮电出版社,2010.

[7]原林,于伸.嵌入式技术在智能家居控制系统中的应用[J].自动化技术与应用,2006(1):28-33.

[8]李风保,李凌. 无线传感器网络技术综述[J].仪器仪表学报,2005,26(z2):41-44.

[9]胡静,刘志镜.基于动态贝叶斯网络的多人跟踪算法[J].计算机工程,2008,34(16):10-16.

[10]陈雷, 杨杰, 沈红斌, 等.基于加速度信号几何特征的动作识别[J]. 上海交通大学学报,2008,42(2):43-49.

[11]柳春.语音识别技术研究进展[J].甘肃科林,2008,24 (9):41-43.

[12]KHANDARE M S, MAHAJAN A. Mobile monitoring system for smart home[C]//Proc. 2010 3rd International Conference on Emerging Trends in Engineering and Technology (ICETET).[S.l.]:IEEE Press, 2010:848-852.

Smart home control system design based on PC-TV

SHEN Zhiwei1,LI Hongwei1,ZHANG Zhu2,LI Shunxin1

(1.ElectrificationInformationCollegeofSouthwestPetroleumUniversity,Chengdu610500,China;2.ChongqingGodArrowSensorCo.Ltd.,Chongqing404100,China)

Abstract:In this paper, an intelligent home control system is designed based on embedded microcontrollers, PC-TV, networking applications. The integrated control of various devices at home has been realized with the combination of infrared control and wireless network. For the human-computer interaction operation, the system retains operation with keyboard, adds the voice control mode and can realize the operation through simple gestures. People can use the PC-TV software to add plan tasks to the main node, set the time for switching lamps, pulling the curtains, and closing and opening the windows.

Key words:smart home; gesture recognition; speech recognition; human-computer interaction

中图分类号:TN273

文献标志码:A

DOI:10.16280/j.videoe.2016.02.014

作者简介:

申志伟(1991— ),硕士生,主要研究方向为智能控制。

李红伟(1977— ),博士,副教授,硕士生导师,主要研究方向为智能配电网、智能控制等。

责任编辑:时雯

收稿日期:2015-09-21

文献引用格式:申志伟,李红伟,张竹,等.基于PC-TV智能家居控制系统设计[J].电视技术,2016,40(2):74-78.

SHEN Z W,LI H W,ZHANG Z,et al.Smart home control system design based on PC-TV[J].Video engineering,2016,40(2):74-78.

猜你喜欢
语音识别人机交互智能家居
基于PLC的智能家居控制系统研究
基于Zigbee的无线通信技术在智能家居中的应用
通话中的语音识别技术
某型柴油机虚拟维修系统研究
人机交互课程创新实验
面向移动终端的语音签到系统
关于智能家居真正需求的探讨
农业物联网平台手机秘书功能分析与实现
基于Android手机语音和Arduino控制板的机器人控制系统
智能家居更贴心