从专利视角看人机交互全球技术发展态势

孙剑锋 夏芸 李慧颖 / 工业和信息化部电子知识产权中心

从本期开始，“EIPC 咨询”栏目正式与大家见面，EIPC 咨询是由工业和信息化部电子知识产权中心研究部供稿的专利情报咨询研究专栏。 专栏包括各行业宏观态势分析、知识产权评议以及热点问题和法律政策探讨等，从知识产 权视角出发为读者研判产业趋势，揭示发展风险，挖掘潜在机会。

更多详细研究内容，请联系工业和信息化部电子知识产权中心研究部。

引言

人机交互是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。伴随计算机的更新换代和计算速度的加快，人机交互也经历了快速的发展，人机交互进入了智能化交互阶段：像人与人交流一样简单、自然。

图1 全球人机交互领域专利申请趋势

图2 全球人机交互领域主要技术产出国年度申请趋势

最近几年，美国、日本等厂商推出的游戏主机风扉全球，极大刺激了人机交互技术的发展。用户需求的多元化和对健身、娱乐的大量需求，让广大企业看到了新的商机，这极大的激发了众多新创企业专注于这一领域。从全球发展状态来看，无论是发展速度还是产业规模，人机交互领域都值得引起高度重视。

目前，全球范围内人机交互的通用技术和研究热点主要有以下几个方向：手势及体感、语音和面部。手势及体感主要指通过对肢体的动作和位置以及手指细节状态的侦测而实现的人与机器的信息交互及控制；语音指通过自然语言将信息在人与机器之间传递而实现交互；面部则主要包括对人脸、面部表情等特征的检测识别来实现人机交互的方式。本文将从专利分析出发，依据专利优先权国或首次申请国为主要统计依据，试为读者呈现全球范围内，人机交互技术发展的现状和趋势。

人机交互进入全新阶段

全球人机交互技术专利申请的总体分布显示，语音控制占整体专利申请的近一半，手势及体感和面部的专利申请占比分别为36%和17%。以键盘、鼠标等为代表的人机交互方式逐渐在娱乐等领域被语音、体感等方式为代表的新的人机交互方式所替代，人机交互技术已经进入到一个全新的阶段。（见图1）

上世纪90 年代开始，移动通信从萌芽、迅速发展到逐步稳定的阶段，期间产生的大量新技术改变了人们的生活方式和消费习惯，也极大促进了相关技术的发展。2000 年后，智能终端如智能手机、平板电脑、掌上电脑的出现促进了新的交互方式的发展，再次掀起了人机交互技术发展的热潮。

主流技术中，语音起步相对较早，2000 年左右达专利申请到高峰，近年来呈下降趋势。面部、手势及体感作为新的交互方式，2007 年之后迅猛发展。语音作为目前最受关注的人机交互技术之一，专利数据充分说明了目前语音交互技术发展较为成熟，技术指标能满足一般应用的需求：仅从识别或合成等方面开展工作难以在产品的综合体验上产生大的突破，未来这一领域的研究重点集中在自然语言理解方面。另一方面，体感和手势受到业界的青睐，随着居民需求的多元化及对健身、娱乐的关注，这类技术的发展有望进一步提速。

美国独领风骚，中国后起之秀

从全球人机交互主要技术产出国专利年度趋势变化来看，美国和日本布局较早，中国、欧洲和韩国相对滞后。分析显示，2000 和2010 年是美国专利申请的两个转折点，技术和产业发展在这两个时间点附近都产生巨大的变化；中国作为后起之秀，近两年来增长迅速；日本自上世纪90 年代中期开始，基本处于平稳状态，发展速度有限；韩国近年来也有一定幅度的增长。（见图2）

图3 人机交互领域各技术美国专利申请年度趋势

图4 人机交互领域各技术中国专利年度申请趋势

美国作为全球发展最快的代表性国家，其内在原因是拥有微软、IBM、苹果等众多全球知名的高新技术企业，同时新创的技术性小企业众多，技术积累深厚。特别是进入21 世纪后，新的人机交互方式大规模的应用于消费电子产品中，美国企业借助多年的技术积累，迅速在市场上崛起，微软的Xbox，苹果的iPhone 等产品风靡全球就是最好的例子。日本企业21 世纪初以任天堂Wii 游戏主机等为代表的产品迅速引领以体感为核心的游戏方式，而此时微软用于Xbox 的体感外设Kincect 尚未出现，日本厂商一时风光无限。

专利数据则显示日本厂商在产品上市之前进行了十余年的研发积累。另一方面，20 世纪末美国在这一领域的研发积累已经逐渐超越日本。经过十余年的发展，2010 年微软公司将Kinect 产品推出市场，在销售前60 天内，卖出800 万部，成为全世界销售最快的消费性电子产品，迅速颠覆了日本厂商之前的优势地位，也进一步拓宽了人机交互技术的应用方式。可见，任何成功产品的推出，都进行了长时间的研发积累，在人机交互领域，这一积累过程可能长达十余年。

进一步的，对美国人机交互发展情况开展分析，梳理各个具体技术的发展历程和现状。（见图3）

美国的语音交互技术专利申请从1990 年左右起步，在2000 年左右达到高峰，之后申请量进入下行通道。美国在此领域起步较早，技术发展较为成熟，贝尔实验室、IBM 等代表性申请人早在上世纪50 年代开始就投入大量资源进行研究，并取得了相当丰硕的成果，然而限制于当时的硬件条件，其性能始终不能满足一般用户的日常生活需求，因此其应用范围也仅限定于特定的场景之下。

近几年来，以Nuance 公司等为代表的技术提供商在IBM 等公司的研究基础之上，依托云计算、网络技术、硬件性能的快速发展，应用深度神经网络等理论成果大幅提高了语音识别和合成等技术的可用性，以苹果推出Siri 语音助手为代表，使这一技术成功的进行了产品化和推广应用。从另一方面来看，经过近半个世纪的发展，语音交互方式中“听清楚，说明白”的阶段已经基本实现，下一步更为重要的是“理解”。因而对于企业来说，仍在语音信号的分析识别阶段投入过多的资源，可能回报有限。

手势及体感领域，数据显示美国企业在这一方面几乎与语音同时起步，但与语音不同的是，为了实现手势及体感的侦测和识别，可能涉及的技术更多，环境干扰也更为复杂，因而在产品化方面迟于语音技术。从市场上来看，美国市场上除了微软成功推出Kinect 设备以外，各种手势和体感操作装备在近几年也层出不穷，例如：2013 年，Leap Motion 体感控制器正式上市，实现了三维空间手势识别设备的小型化和实用化。可以预测，未来体感和手势将是继语音之后有一个新的人机交互热点，其应用范围也会持续上升，在游戏主机之外的明星产品将很快出现。

总体来看，美国企业，特别是微软、苹果、谷歌、Nuance 等领军企业在人机交互领域实力强劲。其不仅在技术上拥有深厚的积累和强大的开发能力，更在产品应用和市场推广方面具有不可忽视的能量。另一方面，美国的众多科技新创企业在人机交互这一领域的快速发展中起到至关重要的作用，诸多先进技术和应用的创意和技术原型都来自于这些小规模企业，行业巨头的收购则为这些技术的进一步发展提供了更大的保障。

中国作为这一领域的后起之秀，与美国相比，既有明显的差距，但也能从美国的发展经验中获得明显的后发优势。（见图4）

总体来说，中国人机交互领域的发展与美国存在一定差距，但2007 年之后硬件水平的快速提高为中国语音技术提供商也提供的绝好的机会：国内企业如科大讯飞在语音方面颇有建树，目前国内50%以上智能终端、教学设备语音控制技术都由科大讯飞提供。

2007 年以后，体感和手势识别也进入快速发展的阶段。但与美国相比，无论是时间起点或发展速度都处于劣势地位。一方面说明中国作为新兴的发展中国家在这一领域的实力仍亟待增强，另一方面，从对美国的分析可以看出，游戏主机产品对于这一领域的发展具有巨大的推动作用，而我国自2000 年起禁止游戏主机及相关产品在国内的生产销售。数据显示2000 年左右正是美国在这一领域开始出现大量技术积累的起点，经过十年的发展而实现了技术的产品化、市场化。因此我国的这一政策可能影响到相关人机交互技术的发展。未来一段时间，游戏主机之外的人机交互产品将大量面世，对于我国相关企业而言，是不可错过的机会。

小结

首先，近十年特别是近五年，人机交互的方式已发生质的变化。人机交互逐渐发展到现阶段的智能化交互阶段，人机交互像人与人交流一样简单、自然。手势及体感、语音和面部等方式成为新的、主流的交互方式。

其次，美国是全球趋势的领导者和技术的领跑者，而中国的巨大市场受到广泛重视。美国是这一领域全球最大的技术产出国，美国的企业实力最强，专利数量最多，年度增幅最大，美国的发展引领这全球的趋势。而我国人机交互方面起步与全球总体相比晚了近10 年。但2000 年以后发展速度较快，年专利申请数量近5 年仅次于美国，反映出全球主要企业对在我国进行研发团队组建、专利申请、市场推广等方面的重视程度迅速上升。

最后，作者认为语音业已成熟，手势及体感的交互方式即将爆发。目前，在全球大部分市场语音技术发展已经较为成熟，技术性能达到实用化的要求；而下一步的研究重点则是将语言信息转化为操作指令即自然语言理解，目前由于人类语言的复杂性和不同语言之间巨大的差异，仍存在许多困难。而手势及体感近年来受到广泛关注，特别是由于体感游戏的推动而快速发展，近几年甚至成为人机交互技术专利申请的主流。在智能电视等产品中，手势及体感也被广大厂商一致认为是继语音控制之后下一个重量级的功能。分析显示，语音技术从技术发展高峰期到市场广泛应用大约需要5-10 年时间，而手势和体感一方面专利和产业数据显示其迅速升温，同时在国外市场上游戏主机领域已经出现成熟的应用技术和模式，而近几年消费电子产品计算能力和网络技术、云计算技术的快速发展更使得人机交互从技术成熟到广泛应用的过程大大缩短。综合以上几个因素可以推测，未来5 年之内，手势及体感将有可能成为智能电子设备的必备功能之一，大规模的应用即将展开。

联系方式：

李慧颖：8868-6338 lihuiying@infoip.org

孙剑锋：8868-6371 sunjianfeng@infoip.org

彭德坤：8868-6370 pengdekun@infoip.org

黄蕴华：8868-6369 huangyunhua@infoip.org