基于手势识别的智能电视交互专利技术综述

杨欣怡 李双

摘 要：智能电视具有操作系统，支持第三方应用资源实现功能扩展，支持多网络接入功能，具备人机交互、与其他智能设备进行交互等。随着计算机视觉的发展和人机交互的需要，手势识别研究取得了蓬勃的发展，通过手势识别对智能电视进行控制和操作，能够更轻松、高效地使用电视设备。文章利用专利数据库对智能电视手势识别技术进行了数据统计和分析，对该领域的专利申请趋势等情况做了归纳总结。

关键词：智能电视；手势识别；发展状况；专利

中图分类号：T-18 文献标志码：A 文章编号：2095-2945（2018）24-0011-03

Abstract： Intelligent TV has the operating system， which supports the third party application resources to realize the function expansion， supports the multi-network access function， has the man-machine interaction， and carries on the interaction with other intelligent devices. With the development of computer vision and the need of human-computer interaction， the research of gesture recognition has made great progress. By controlling and operating intelligent TV through gesture recognition， one can more easily and more efficiently use TV equipment. This paper makes use of patent database to analyze the data of intelligent TV gesture recognition technology， and summarizes the trend of patent application in this field.

Keywords： intelligent TV； gesture recognition； development status； patent

引言

电视是家庭娱乐休闲必不可少的家用电器。如今，电视依然是最为普及的信息传播载体，用户在观看普通节目的同时，还可以上网、娱乐等。从用户的角度出发，通过自然简单、人性化的方式完成交互，无疑是用户完成电视操作的最佳方式。而手势具有直观、自然、丰富的特点，是一种符合人们日常习惯的交互手段，是表達信息和特定意图的良好载体，由于手势具有上述特性，因此在对智能电视进行操控中得到了良好的运用，实现了对智能电视自然灵活地操作。

1 基于手势识别的智能电视控制技术发展状态分析

1.1 技术分解

本文通过检索获得的专利申请进行统计分析，对基于手势识别的智能电视控制所涉及的具体技术和应用领域进行分解。

根据手势采集设备可以将手势识别系统大致分为基于数据手套和基于视觉的两种手势识别系统。其中，数据手套通过多个传感器反馈各关节的数据，并通过位置跟踪器返回人手所在的三维坐标，从而获取手势在三维空间中的位置信息和手指的运动信息。通过数据手套可以直接获取人手在三维空间中的位置和运动参数，数据精度高，但数据手套的不足是设备较为昂贵，长时间佩戴时手部出汗等会造成用户体验不佳。而基于视觉的手势识别系统，通过摄像头采集用户的手势信息，从图像中提取手势特征，识别出相应的手势，用户无需佩戴额外的设备，可以直接与智能电视进行交互，降低了输入设备的成本，对用户的限制较少，但从图像中识别手势具有一定的难度。

1.2 主要应用场景

经过对检索文献的分析可以发现，手势识别在智能电视的应用领域主要集中在对智能电视进行常见功能的控制、游戏娱乐以及基于手势的视频推荐这三个方面。通过手势可以简单的实现遥控器的基本功能，例如开关机、音量调节，换台等；在游戏娱乐方面，通过手势参与视频游戏，增加了用户的体验度，丰富了游戏的形式，有利于提高用户参与互动的热情，增加游戏的乐趣，使体验变得流畅自然；此外，通过用户表情与手势的识别，判断用户的偏好，例如竖起大拇指的手势表示对某一正在观看的节目类型的喜爱，并根据获取的用户偏好向用户推荐相适应的资源节目，生成相应的EPG菜单供用户选择，能够人性化地实现节目推荐。

2 数据统计分析

2.1 全球相关技术申请量年趋势

相关技术的专利从1998年开始出现，由于识别技术要求较高，且硬件成本相对较高，期初发展较为缓慢，相关专利的申请量较少。但随着后续识别技术的不断创新发展，识别精度逐渐能够满足对各种操作的需求，且随着人们对类似手势控制的简单化交互的需求的不断增长，不断有科研力量投入到这一领域，随着越来越多的申请人加入了该领域，该技术从2009年到2014年得到了迅速发展，申请量增长较快，由此呈现了逐年增长的发展趋势，保持了较高的发展水平，有较大的发展空间，总体而言，基于手势的智能电视交互从出现以来，发展迅速，得到了较好的发展。此外，从图2可以看出，在基于手势的智能电视交互技术领域，美国受理的申请量最多，其次是中国、日本、韩国、欧洲和台湾。可见，美国和中国在这一领域具有最大的消费潜力。

2.2 各技术分支的发展情况

经过对各申请的统计发现，由于基于视觉的识别技术具有较大的优势，其只需要根据需要设置一个或多个摄像头，通过获取的用户图像中的手势来进行各种操作，而不需要多个传感器用于识别用户手势，因此在各个时期基于视觉的手势识别技术的智能电视交互技术方面的专利申请量都优于基于辅助设备如数据手套的专利申请量。全部专利申请中，基于视觉的手势识别占到了总数的74%，而基于数据手套的手势识别方法多出现于早期的手势识别以及视频游戏领域。从发展阶段上看，1999年之前专利申请主要集中通过各种技术识别手势以实现对电视基本功能的调节，而其他运用发展相对较为滞后，1999年之后，基于手势识别的视频游戏的申请量开始出现，并呈现出增值的趋势，此外，随着技术的发展和人们对更多个性化播放的需求和其他功能多样化的需求，又出现了通过手势识别用户偏好的个性化播放技术方面的专利申请以及其他方面的申请，申请量都出现了逐年上升的趋势。

3 技术演进及核心专利分析

3.1 技术发展演进路线

通过对基于手势识别的智能电视交互技术的专利技术进行检索分析，得到了该领域的发展路线。从相关的图中可以看出早期专利申请主要涉及对智能电视的基本功能的控制，如换台、音量调节等，涉及到的手势识别技术最早包括基于由传感器组成的可穿戴设备的识别技术及基于视频的手势识别技术，再往后发展涉及到的基于可穿戴设备的识别技术较少，主要涉及基于各种基于视觉的手势识别技术；此外，基于手势识别的视频游戏的发展也较早，由于手势控制游戏操作性强，可以为用户带来不一样的体验，因此，这方面的技术也在不断的发展和进步。另外，随着智能电视功能的不断发展，逐渐产生了其他的应用，如基于手势的个性化视频推荐、基于手势的用户身份识别、基于手势轨迹的文字输入等。可见，随着技术的不断发展，基于手势识别的智能电视交互的应用领域得到了不断的扩展，用户参与度得到了提高，在方便操作的基础上体验也更加丰富。

3.2 核心专利分析

核心专利的选取参考了被引用数量及同族数量的排序，分别就识别技术及主要应用场景选取了几篇专利进行分析。

（1）基于识别技术分支的核心专利

US1998103905A是惠普公司于1998提出的一个申请，通过可穿戴的设备识别手势命令。其通过不同手势及手势持续的时间来定义手势命令，即通过获取手势的位置、位置变化的时间间隔获取手势对应的不同指令。该可穿戴手势指令识别装置可以佩戴在手背，以便于检测腕部及前臂的运动和转动，因此各位置的手势命令可以容易地提交到该可穿戴设备，不用借助按键和其他选项，就可以通过手指发送手势命令。

此外，在通过基于运动传感器的可穿戴式设备进行手势识别的基础上，有大量专利对这一技术进行了改进和优化。例如，利用生物电流的方法。具体的，做某种手势时，相应的肌肉会产生微弱的生物电流，因此通过检测肌肉电流的变化，配合其他传感器检测的加速度和角度数据，经过处理检测出手指、手掌、手腕、手臂的运动，可以提高手势识别的精度，为用户提供更好的体验。另外，还发展出了基于雷达的手势识别装置，这些技术和设备可以使得实现大量手势并且通过穿戴式雷达系统使用这些手势。替代地，可以使用穿戴式雷达系统来控制其他计算设备和与其他计算设备交互，诸如接收简单或非常复杂的手势，用户不必触摸远程触摸屏或旋钮或按钮，产生用于游戏控制器的大的身体运动，或控制声音系统接收器来调整音量。可见，基于穿戴式的手势识别的智能电视的交互技术虽然占总申请量的比例较小，但是并没有由于其固有的如设备成本等问题而被淘汰，而是得到了不断的发展，提高了用户使用的舒适度与操作的精度。

此外，也有大量对基于视觉的手势识别的智能电视交互技术的改进和发展，主要涉及基于视觉的手势识别技术的优化，例如手势图像采集技术从2D图像的手势识别发展到基于3D图像的手势识别，手势的检测和分析方法涉及到基于运动信息的检测分割、基于表观特征的检测分割、基于多模式的信息的检测分割等技术；手势识别涉及到基于模板匹配、基于人工神经网络、基于概率统计等多种方法以及对上述已有方法的改进。

（2）基于主要应用领域分支的核心专利

a.基本控制及视频游戏

US2003156756A1为2003年申请的一项专利，涉及一种三维手势识别系统，利用深度感知传感器识别手势以实现电视基本功能的控制以及游戏操作。本申请通过识别对象的移动作为电子设备或系统，例如电视、游戏控制台的输入，系统检测用户的手指的相对位置，并解释手的运动以作为电子设备的输入。通过深度图像消除背景和照明变化的影响，手势识别系统包括三维传感器系统、分割模块、体位模块和分类模块，此外还包括姿态表现模块以提供作为可选的手势特征。通过上述各模块检测手部在特定区域内的移动，可以通过检测和解析获取的手势姿态改变参数动态地创建可作为电视遥控指令或转换为游戏中的动作。

b.基于手势的个性化播放

US2005022239A1为于2004年提出的一项专利，涉及一种用于推荐媒体内容的系统，包括反馈系统，用于处理估计用户反馈分数的可靠性得分，通过将当前的得分用于检索以后用于推荐的媒体内容；该系统还包括输入装置，用于评级媒体系统呈现的媒体内容，输入装置可以进一步包括输入的语音的麦克风或者获取的手势的摄像机识别装置。反馈可以通过类似将大拇指输入到媒体系统以标识用户偏好，例如喜欢、厌恶、既不喜欢也不讨厌，通过用户反馈可以获取实际观看内容的评分用于向用户推荐适合用户偏好的媒体内容。即实现了通过摄像机等组成的手势识别系统识别的手势以判断用户偏好，并根据用户偏好向用户推荐相应的媒体内容。

c.其他應用领域

基于手势识别的智能电视交互在其他方面也得到了发展，例如在智能电视中通过手势实现文字输入；通过智能电视进行购物时，通过手势识别鉴别用户登录权限；用户通过智能电视进行试衣时，通过手势控制显示的衣物的替换等。

我们有理由相信，随着智能电视功能的不断发展和进步，基于手势的智能电视交互也一定会随着智能电视的发展而不断充实其应用领域，为用户提供更多的方便。

4 结束语

本文梳理了基于手势识别的智能电视交互技术的各技术分支及各应用领域的发展情况，并对该领域的核心专利进行了解析，有助于审查员全面了解有关技术的基本发展态势，对审查工作有一定的帮助。

参考文献：

[1]门乐，吕淼，胡泽，等.智能电视手势操作技术的专利分析[J].电视技术，2013，27（S2）：6-7.

[2]刘振宇，管泉，刘瑾，等.全球智能电视姿势识别专利分析[J].信息终端与显示，2015，39（18）：22-32.

[3]武霞，张崎，许艳旭.手势识别研究发展现状综述[J].电子科技，2013，26（6）：171-174.