杨连池+林春婷
摘 要:文中提出了一种智能家居人机交互控制设备的设计与实现方法。通过空间相对位置关系,结合图像识别实现对多种设备进行智能控制。该智能遥控器综合应用图像识别技术、加速度传感器、陀螺仪、指南针实现了定位功能和手势控制,可自行配对并调出对应控制界面;可以自我学习,并根据用户使用习惯优化控制界面。该遥控器可应用于智能家居设备控制,用户可以在电子设备种类繁多的情况下,实现“多个遥控器整合成一个遥控器”的目标,摆脱按键复杂和易用性差的烦恼。
关键词:智能家居;人机交互;图像识别;传感技术;手势控制;自我学习
中图分类号:TP722 文献标识码:A 文章编号:2095-1302(2017)12-00-03
0 引 言
现在几乎每家每户都有电视、机顶盒、网络盒子、音响、空调、风扇等电器。这些电器设备所配备的遥控器种类繁多,使用及管理极其不便,容易出现遥控器混淆和丢失等问题。
目前市场上存在的智能遥控器,可实现一个遥控器替代多个遥控器控制多个电器的功能,但这种遥控器按键繁多,使用复杂,容易误操作。在不同设备之间使用需要通过按键频繁切换。且随着设备增多,切换愈加繁琐。
部分电器采用内置App的智能手机作为智能家居控制终端。但使用过程需要解锁,打开App,切换控制界面等,操作复杂,且存在网络延迟,导致用户体验较差,同时在使用过程中存在手机私密性无法得到较好保护等问题。
本文提出了一种自动识别多种设备的智能遥控器实现方案,它具有空间相对位置计算功能和图像识别功能,可实现对电子设备的快速识别定位,无需进行复杂的按键切换操作即可控制电器。
1 系统总体设计
智能遥控器的总体框图如图1所示。
红外收发模块可实现遥控器与电子设备的学习配对与控制;加速度传感器、陀螺仪、指南针等用于遥控器移动侦测以及空间矢量位移计算,实现目标电子设备的预判断;摄像头位于遥控器前端,用于图像拍摄和识别;触摸显示屏用于显示控制界面和快捷按键;物理按键便于快速操作。系统采用锂电池供电。
系统各功能模块的布局如图2所示。
2 学习配对方式
2.1 传统的遥控器红外对码方式
红外对码框图如图3所示。
系统由MCU协调各单元,红外接收电路用以接收要学习的红外信号,红外发射电路用以发射控制电器的红外信号。MCU根据键盘按键是否按下所产生的数字信号判断系统处于红外接收状态或红外发射状态。当处于红外接收状态时,MCU将接收到的红外信号存储于存储器中,当MCU处于红外发射状态时,可通过MCU依照对象选择键按下所产生的不同信号,将存储器当中相应地址的信号取出。
2.2 摄像头扫描识别
利用摄像头拍摄设备条形码、铭牌、设备品牌Logo或设备特征,或手工录入设备品牌型号等相关信息,然后通过云端数据库检索到相应设备,下载对应的控制代码,并将控制代码和设备特征信息存储到本地,方便下次使用该电子设备时直接调出。
3 设备图像识别
3.1 图像识别的基本过程
遥控器通过图像识别匹配电子设备机型包含两个阶段,分别为学习阶段和实现阶段,学习阶段如前所述。实现阶段在遥控器每次使用过程中,将摄像头提取的电子设备图像特征信息和本地保留的图像信息进行比对,调出相应的控制界面。使用若干次后,每次的图像识别无需详细逐一比对各个细节,只需识别设备间的相对位置关系,结合控制设备的典型特征,即可提供相应的控制界面。
3.2 图像识别的实现
图像识别过程可以看作是一个图像的标记过程,这种方法无需了解摄像头提取图像的具体文字知识或其他相关知识,只需根据特征信息比对即可。图像识别利用Canny算法对图像进行边缘检测,再利用Snake模型进行轮廓提取[1]。图4所示为轮廓提取程序流程。
此外,当光线传感器在检测到环境照度较低,或遥控器摄像头拍摄的图片亮度较低,影响设备识别时,可通过启动红外线发射单元作为闪光灯进行亮度补偿,提升图像识别准确性。
4 空间定位方式
定位方式基于陀螺仪、加速度传感器和指南针传感器。首次使用时,将对房间的空间环境进行全景扫描。通过图像解析,结合加速度传感器、陀螺仪、指南针等的计算,赋予每个典型物品或环境特征独立的坐标编码,并存储到本地图像-坐标库。
当加速度传感器侦测到遥控器被拿起时,摄像头启动。此时,摄像头将拍摄前方,识别对应的典型物品或环境特征,比对本地存储的图像-坐标库,调取对应的坐标作为遥控器初始位置。当遥控器停止移动或用户指向要控制的目标设备时,计算出移动过程的移动矢量,得出目标设备的空间位置,即坐标。然后比对本地存储图像-坐标库,判断用户所指向的设备,并读取相应的控制信息,使之处于就绪状态。然后通过摄像头识别拍摄的图像,辅助确认控制对象,减少对设备或环境变化的误判,并提供相应的控制界面。图5所示为空间定位流程。
该方式可以事先“推测”可能的控制对象,避免仅依靠图像识别带来的大量数据计算,从而降低系统功耗,提升设备响应速度,改善用户体验。
5 智能控制界面
以图6为运用场景,介绍该智能遥控器的使用。
当遥控器的摄像头采集对象为单一对象时,且该设备周围并无其他被控制设备。经过空间相对位置关系的计算和图像识别辅助确认,准确调取对应电器设备控制界面。控制界面如图7所示。
当摄像头采集时遇到控制对象聚集,如对准电视,但电视周围有其他电子设备如机顶盒,网络盒子,功放等,则采用如下方式处理:
(1)之前都将最上方的设备设为默认控制对象,然后通过相对位置关系切换到下方其他设備。默认设备可以根据用户使用习惯进行调整(用户可自行设定,或设备自我学习设定)。endprint
(2)弹出这些设备相应的选择界面,以供用户自行选择。该界面的布局可以根据用户习惯进行调整(用户可自行设定,或设备自我学习设定)。
在前期用户未形成使用习惯时,可提供等面积的方块界面,进行单项设备选择及相应控制界面调出,也可以对多台设备同时开启或关闭。达到多台设备之间快速切换和同时控制的目标。控制界面如图8所示。
在用户形成使用习惯后,自动将用户常用设备调整至操作最佳位置,并增大其界面占有面积,以提供更快捷、舒适的操作。控制界面如图9所示。
6 手势识别控制
利用集成在遥控器里的加速度传感器结合陀螺仪,通过分析手势的运动学特征,在线实时提取手势的各传感器特征量以识别手势[2]。用户可将挥舞划动遥控器,转化成手势操作来切换并控制不同电子设备。图10所示为手势识别流程。
以图11所示的应用场景为例。用户可事先为每个设备定义唯一的手势,建立手势-设备库,并存储到本地。当用户划出某一手势时,遥控器内置的传感器记录该手势,并比对手势-设备库,然后通过遥控器切换到对应设备。比如画“V”代表控制电视。使用过程如图12所示。
7 结 语
以上设计实现了智能家居人机交互控制的简单化与便捷化。同时系统具备自我学习功能,可“推断”用户意图,并根据用户习惯改善设计,极大地提升了用户体验,具有广阔的市场前景。
参考文献
[1]张毅,孙虎元,孙立娟.边缘检测和Snake Model结合的轮廓识别[J].计算机工程与应用,2009,45(26):160-162.
[2]肖茜,杨平,徐立波.一种基于MEMS惯性传感器的手势识别方法[J].传感技术学报,2013,26(5):611-615.
[3]董清,洪歧.一种基于云平台的智能家居光控系统设计[J].物联网技术,2017,7(4):88-90.
[4]王佳欣.基于蓝牙4.0智能开关控制系统的设计与实现[J].物联网技术,2016,6(6):99-101.
[5]马子洲.智能遥控终端软件系统的设计与开发[D].成都:电子科技大学,2011.
[6]陈国俊,须文波.基于SOAP的智能家居互操作系统框架[J].物联网技术,2015,5(10):90-93.
[7]王军号,姚莉,程永慧.人机互动多功能智能空气净化器的设计[J].物联网技术,2016,6(2):75-78.
[8]移动智能终端桌面遥控通信系统设计与实现[D].長沙:湖南大学,2014.endprint