刘振宇,管 泉,刘 瑾,赵 霞
(青岛市科学技术信息研究所,山东 青岛 266003)
全球智能电视姿势识别专利分析
刘振宇,管 泉,刘 瑾,赵 霞
(青岛市科学技术信息研究所,山东 青岛 266003)
综合运用TDA、Innography等多种分析工具,对德温特增值专利数据库中用于智能电视的全球姿势识别专利进行总体趋势及创新技术人才等分析,主要包括专利技术总体发展趋势、全球专利市场布局、专利技术国家分布、热点技术领域、前沿技术、创新团队、重要专利等,以期帮助企业了解智能电视姿势识别技术的发展趋势和主要竞争对手情况,为智能电视姿势识别技术合作研究和产业发展提供借鉴。
智能电视;手势识别;姿势识别;专利分析;德温特专利数据库
根据中国电子视像行业协会标准(CVIA/ZNDS01—2014),智能电视是指具有操作系统,支持第三方应用资源实现功能扩展,支持多网络接入功能,具备智能人机交互、与其他智能设备进行交互的电视机[1]。
20世纪60年代初期,人们通过移动发光的电子笔控制计算机辅助设计系统的画板,后来出现了用发光笔进行控制的商用系统。到了20世纪90年代初期,以摄像为基础的计算机视觉在美国的麻省理工学院的媒体试验室(Media Lab)、日本的国际先进通信研究所(Advanced Telecommunications Research Institute International)以及瑞士的苏黎士大学等开始成为姿势识别技术研究的重点[2]。
目前的姿势识别技术仍面临几个重要问题,包括在不利的光线条件下,该技术能够实现的效果、背景变化与高功耗等,但人们仍希望电视能够准确无误地感知包括自然语言、手势/姿势语言、面部表情等不同的人类表达方式,实现拟人化的人机交互,方便人们更轻松、高效地使用电视设备。市场研究机构ABI Research预测,到2017年,仅具有视觉手势识别功能的智能手机将达6亿部[3]。
文中所涉及的智能电视姿势识别技术是指运用数学算法来分析外部摄像头/传感器捕获的人体或身体各部位的姿态或运动,结合电视软件环境,判断操作者意图,并执行对应操作的技术[4],不包括利用触屏及遥控器等其他设备采集的姿势进行的识别。姿态识别的对象是静态系统,主要是识别人体整体或者某一部位的姿势。根据识别对象的不同,可分为手形识别、体势识别、头部姿态识别等[5-6];动作识别是识别人体运动的动态过程,比如人体的动作识别、步法识别以及手势识别等[5-6]。
全球智能电视姿势识别专利检索的数据库为德温特增值专利数据库,利用excel、TDA、Innography[7]、Thomson Innovation[8]等工具进行专利分析。通过对检索到的数据进行清洗以及申请人、发明人合并,至2013年4月底,全球智能电视姿势识别相关专利数量达到729个专利族(每一个专利族包括了同一项专利在不同国家申请的所有专利)。
2.1 产业技术处于高速发展时期
图1揭示的是全球智能电视姿势识别专利(以下简称“姿势识别专利”)的年度分布情况。采集的数据为已经公开的专利数据(数据采集截至2013年4月),考虑到专利一般从申请到公开需要长达1年甚至3年的时间,专利年度申请数量在2012年开始出现失真,因此本文对专利申请的分析年份截至到2011年。2012年专利分布情况可以参考年度专利公开数量。
图1 姿势识别专利年度分布
由图1中全球姿势识别专利申请年度分布情况可知,智能电视姿势识别技术出现于20世纪80年代,1995年前后,姿势识别技术逐渐发展,2004年以后呈现加速发展的态势,2007年后,随着计算机技术、传感器等技术设备的快速发展,姿势识别技术实现了大的飞跃,这种势头一直延续至今。
2.2 技术生命周期步入成长期
一般而言,技术的发展需要经过4个阶段:第一阶段为技术孕育期,企业进入意愿低,专利申请数量和申请人数量均很少;第二阶段为技术成长期,这一阶段产业技术有突破或厂商对于市场价值有了认知,竞相投入发展,专利申请量与专利权人数急速上升;第三阶段为技术成熟期,厂商投资于研发的资源不再扩张,只剩少数继续发展此类技术,且其他厂商进入此市场意愿低,专利申请量与专利权人数成长逐渐减缓;第四阶段为技术瓶颈期或衰退期,产业技术研发遇瓶颈难以突破或此类产业已过于成熟,专利申请量与专利权人数呈现负成长。
由姿势识别专利研发技术年度变化情况(图2)可以看出,1993年前基本为新技术,1993年后,新的技术不断被研发出来;同时,现有技术也在不断发展,尤其是2007年后,现有技术的发展呈现近似直线骤升态势。
图2 姿势识别专利研发技术趋势
图3为姿势识别专利研发人员年度变化情况。从图中研发人员可以看出,总体上,2001年前,研发人员流动较快,虽然每年都有新的人员投入姿势识别技术研发,但基本没有进行持续的研发;之后,随着对姿势识别技术广阔应用的认识提高和新的相关技术手段不断出现,研发人员开始持续关注姿势识别技术研发,尤其是2007年后,新的研发人员以近似直线发展态势投入姿势识别技术的研发,而已有人员的研发也迅速增加。
图3 姿势识别专利研发人员趋势
图4为姿势识别技术生命周期图。结合图2、图3可以看出,1983年,智能电视姿势识别新技术出现,经过1983—2003年的技术孕育期,2004年以后,专利数量、新增发明人数量、现有技术等均大幅度攀升,开始进入技术成长期。
图4 全球姿势识别技术生命周期图
2.3 技术领域分析
全球姿势识别专利采用德温特手工代码排序的前10项技术结果见表1,前10项技术年度申请情况见图5。由上述图表分析可知,姿势识别专利主要的技术涉及两大部分,第一部分是应用领域,包括软件产品、视频游戏、电脑游戏,第二部分主要为涉及的具体处理技术,包括姿势的输入、处理、识别等。前10项技术发展于90年代,之后随着技术的不断突破,均呈现快速增长趋势。
表1 前10项姿势识别专利技术(德温特手工代码)
专利数量主要技术代码主要技术领域217T01-S03软件产品118W04-X02C视频游戏105T01-J30B电脑游戏95W01-C01D3C便携电话87T01-J10B2A识别,包括字符和图像、光学字符识别、目标识别85W03-A12A立体和三维显示的电视接收器77T01-J10C4三维图像处理,包括三维的实体建模、网格、表面检测、镶嵌、体素、阴影71T01-J10B2图像分析,包括特征参数的确定和场景分析69T01-J12程序管理,GUI/WIMPS/HCI,包括软件和交互式操作界面的窗口安全处理方面的应用和下拉选单58T04-F02B7能量手套,应变仪三维输入,虚拟现实
图5 前10项姿势识别专利技术(德温特手工代码)趋势
图6为姿势识别专利的前10项技术迁移情况。图中,纵坐标为前10项技术,横坐标为前10项技术的每个技术的专利总量百分比,本文选取2010—2013年的专利(图中浅色部分)代表近期专利数据,2009年以前的专利(图中深色部分)代表早期专利数据。将前10项技术均按上述两个时间段划分,分别代表近期和早期两个阶段申请专利的情况。早期专利数量(深色部分)约占专利总量的40%,在图中横坐标的60%的位置画一条基准线,超过基准线代表技术热点的迁移。图中可以看出,程序管理(T01-J12)、立体和三维显示的电视接收器(W03-A12A)、便携电话(W01-C01D3C)等技术的研发在最近几年的发展速度超越了技术平均发展速度。总体来讲,姿势识别关键技术近期发展比较均衡。
图6 前10项姿势识别专利技术迁移
2.4 热点技术与前沿技术分析
使用汤森路透公司Thomson Innovation,将专利数据通过文本聚类,绘制产业技术研发重点的专利地形图(见图7)。山峰表示专利技术的集中区,山峰颜色越浅,专利越密集。图中显示,目前,动作识别、三维立体影像识别处理、网络命令交互、弱光源、动作传感等技术是产业研发的重点;随着手势遥控技术逐步成熟普及,多方向的识别与虚拟现实、移动环境甄别等技术将可能成为新的技术竞争点。
图7 姿势识别技术专利地图(截图)
2.5 姿势识别专利国家分布
2.5.1 主要技术产出国
主要国家/地区/组织申请的姿势识别专利数量情况见图8。 图中显示,美国一枝独大,申请的专利约占全球专利总数的55%;日本、韩国紧跟其后,中国位于第四位。
图8 主要国家/地区/组织申请的姿势识别专利数量情况
2.5.2 主要国家专利布局
美国、日本、韩国作为智能电视姿势识别专利规模最大的国家,其对世界市场的争夺也非常激烈,因此除了对本国进行专利保护外,为了在国外生产、销售产品,其必须在国外地区申请相关专利以求获得知识产权保护,同时该国同族专利的申请也可以反映出其市场战略。
美国在22个国家/地区/组织进行了专利布局,除在本国申请外,重点关注WO、EP、以及中国、日本、韩国及中国台湾地区市场。日本在18个国家/地区/组织进行了专利布局,韩国在15个国家/地区/组织进行了专利布局,日本和韩国的专利保护策略大体相同,在本国专利保护同时注重国外市场,尤其是美国、中国市场以及WO和EP;而中国主要针对本国市场,在国外市场专利布局很弱;但中国台湾地区在8个国家/地区/组织进行了专利布局,并十分注重美国市场,专利布局占34%。图9仅列出了美国、日本、韩国、中国及中国台湾地区等国家/地区(优先权国)在重点关注的国家/地区/组织(公开国)的专利布局情况。
图9 主要国家/地区姿势识别专利布局
2.5.3 主要国家重点技术领域
美国、日本、韩国在智能电视姿势识别技术涉及多个主要领域,技术较全面。主要专利技术国家的重点研发技术领域见图10。图中横坐标为主要国家,纵坐标为前5项技术中每项技术所占该国前5项技术专利总量的百分比。从图可以看出,美国、日本、韩国均关注软件产品技术,另外,美国还关注视频游戏、电脑游戏、便携手机等技术,且发展较为均衡;日本主要关注识别技术;韩国主要关注软件产品、便携手机、识别技术;中国则主要涉及视频游戏、电脑游戏、识别技术等,中国台湾地区的技术侧重于识别技术、视频游戏、电脑游戏等。
图10 主要国家/地区/组织姿势识别专利技术领域比例图
2.6 姿势识别专利申请人分析
2.6.1 申请人排名
全球姿势识别专利前十名申请人排名情况见图11。图中数据表明,在所有机构/人员中,微软公司专利量遥遥领先,其后索尼公司、三星公司为第二梯队,而LG、高通公司等为第三梯队,其中,位于第三梯队的个人为Pryor.T.R(Timothy Pryor)[9]。中国机构/人员未能进入前10名申请人中,在智能电视姿势识别技术研发能力相对不足。
图11 前10名姿势识别专利申请人
2.6.2 机构活跃度分析
图12为姿势识别专利申请机构活跃图。图中,每块扇形用不同颜色加以区分,代表每一类机构(包括企业、研究院所、高校、个人等各类申请人)申请专利数量之和。图中可以看出,拥有100篇以上机构企业的专利总和占到专利总量的12.1%;拥有21~100篇机构的专利总和占到专利总量的15.9%;显示了专利技术并未被大机构尤其是大型企业垄断;而拥有专利量为1~20篇的小型机构专利总量占77%,显示了涉及本领域的新生力量数量逐步增加,专利技术较分散,表明该技术正在逐渐成长。
图12 姿势识别专利申请机构活跃度
2.6.3 企业综合竞争力分析
根据Dialog Innograph专利分析平台提供的分析模型,综合考虑企业的专利数量、专利涉及分类数量、专利涉及地区数量、被引次数、营业收入、专利侵权情况等方面,评估了企业综合竞争力(如图13所示),纵坐标反映企业拥有的资源,横坐标代表了企业技术实力,气泡大小表示专利数量。
图13 姿势识别专利企业综合竞争力
图13表明,智能电视姿势识别技术行业中,还未出项垄断企业。虽然微软、索尼、三星、苹果等公司具有较强优势,但微软、索尼技术实力较强,但未进行大规模的经济投入;而三星、苹果虽然拥有较丰富的市场优势,但总体上说技术还有欠缺;其他公司机构总体上还处于技术和资源的基础发展阶段。
2.7 全球重要专利
采用Proquest Dialog公司的Innography专利分析平台,进行重要专利筛选工作。Innography具有专利强度分析功能,其建立的专利指标体系包括专利引证次数和被引次数、专利族数量、权利要求项数量、专利涉及诉讼案件数量及赔偿金额、专利从申请到公开的时间、专利年龄、专利异议和再审查、专利分类等十几个指标,并赋予不同的权重计算而成。希望通过使用Innography的专利强度分析,可以从海量专利数据中寻找关键专利、核心专利。表2为专利强度在90%~100%范围的姿势识别专利。
2.8 全球专利发明人
全球智能电视姿势识别专利数量超过10件的发明人及其涉及的技术领域、合作关系等见表3。
1)全球智能电视姿势识别技术正处于技术成长期,多方向识别与虚拟现实、移动环境甄别技术将可能成为发展的主要方向。
从全球姿势识别专利申请总体趋势来看,智能电视姿势识别技术最早出现在20世纪80年代,目前正处于技术成长期,涉及的主要技术为应用领域的软件产品、视频游戏、电脑游戏以及具体处理技术的姿势的输入、处理、识别等,随着技术的进一步发展,多方向的识别与虚拟现实、移动环境甄别技术等将可能成为新的技术竞争点。
2)美国一枝独大,日韩紧随其后,中国位居第四。
美国、日本、韩国、中国为智能电视姿势识别专利规模较大的国家,美国以全球专利总数的55%的绝对优势遥遥领先。除在本国申请外,美国在22个国家/地区/组织进行了专利布局,重点关注中国、日本、韩国及中国台湾地区市场;日本在18个国家/地区/组织进行了专利布局,韩国在15个国家/地区/组织进行了专利布局,日本和韩国的专利保护策略大体相同,在本国专利保护同时注重主要国外市场,尤其是美国、中国市场;中国主要针对本国市场,在国外市场专利布局很弱。
3)微软、索尼、三星等外国企业产业技术较强,积极布局抢占市场。
在智能电视姿势识别的技术、产业方面,国外企业较强,主要以微软、索尼、三星为主,其技术研发投入较早,且每年研发力量、资金等投入较大,技术增长较快。其中微软在技术上占据绝对优势,如在专利强度为90%~100%的姿势识别技术专利中,微软占有三分之一。为抢占市场,三家公司纷纷在其他国家地区申请专利进行保护,如微软除关注本国市场外,还关注中国、欧洲、日本等市场,索尼公司尤其重视中国和美国市场,其在中国和美国申请的专利占到其全球专利的近三分之二。
表2 姿势识别技术重要专利
表3 全球姿势识别专利发明人涉及的技术领域和合作关系情况
专利数量发明人机构前三名作者时间跨度近三年专利比例主要技术独有技术新技术国家52MarkovicReljaMicrosoftCorporation[51]LattaStephenGilchrist[46];GeisnerKevin[39];BennettDarrenAlexander[23]2009—2012年44%of52T01-J30B[29];W04-X02C[26];T01-S03[15]NoneT01-N01A2D[4];T01-J05B4F[2];T01-M02[2];T01-N02A3[2];T04-D03A[2];T04-D07D[2]US[52]48LattaStephenGilchristMicrosoftCorporation[46]MarkovicRelja[46];GeisnerKevin[39];BennettDarrenAlexander[23]2009—2012年44%of48T01-J30B[27];W04-X02C[24];T01-S03[13]NoneT01-N01A2D[4];T01-M02[3];T04-D07D[3];T01-N02A3[2]US[48]40GeisnerKevinMicrosoftCorporation[39]MarkovicRelja[39];LattaStephenGilchrist[39];BennettDarrenAlexander[22]2009—2012年35%of40T01-J30B[22];W04-X02C[21];T01-N01B1[8];T01-S03[8]NoneT01-N01A2D[4];T01-M02[2];T01-N02A3[2]US[40]24PryorTimothyR PryorTimothyR ,Sylvania,OH,US[5]SmithPeter[2]1995—2013年38%of24W04-X02C[7];T04-F02B7[7];T01-J30B[5]T01-J07D1[4];T01-N01D1B[2];W04-M01D3[3];T01-N01B3[3];T01-J15X[4];T01-N02B2A[2];W04-M01D2[2];T01-J17[2];T01-L02B[2]W04-M01D3[3];T01-J17[2];T01-L02B[2];T01-N02B2A[2]US[24]23BennettDarrenAlexanderMicrosoftCorporation[22]MarkovicRelja[23];LattaStephenGilchrist[23];GeisnerKevin[22]2009—2012年35%of23W04-X02C[11];T01-J30B[10];T01-J30D[7];T01-N01B1[7]NoneT01-N01A2D[3];T01-N02A3[2]US[23]
续表3
注:[N]表示专利数量为N,如[51]表示专利数量为51。
微软公司、索尼公司重点关注电视游戏方面,目前微软的Kinect相关技术的正不断成熟,索尼则逐步加强符合识别技术和多传感器识别技术的研发;三星公司则侧重于智能电视,依据自身的技术优势,成为世界第一家推出姿势识别智能电视的企业。
相对于国外同类企业,国内姿势识别技术及产业明显不足,中国的智能电视姿势识别技术企业较少且排名靠后,尚未进入前十名。
4)全球姿势识别专利技术尚未垄断。
目前,拥有21篇以上的企业的专利总和仅占到专利总量的28%,其余72%为其他众多机构申请,表明姿势识别专利技术较分散,并未被大型企业垄断。
5)全球重要的姿势识别发明人主要有Timothy Pryor等。
Timothy Pryor 目前拥有274件专利申请,其专利曾转让给很多公司,如苹果、Hewlett-Packard Development Company、MotionGames、Sensor Adaptive Machines Incorporated等。目前,Timothy Pryor的24件姿势识别专利中仍有重要的专利尚未转让。
[1] CVIA/ZNDS01—2014,智能电视机总规范[S].2014.
[2] 大卫·盖尔.姿势识别技术及其未来[J]中国计算机协会通信,2005,1(1):58-62.
[3] 手势识别功能智能机被看好 2017年或达6亿部[EB/OL].[2014-10-16].http://www.cctime.com/ html/2012-7-16/2012715210496317.htm.
[4] CVIA/ZNDS04—2014,人机交互技术规范[S].2014.
[5] 门乐,吕淼,胡泽,等.智能电视手势操作技术的专利分析[J].电视技术,2013,37(S2):6-7.
[6] 刘博,安建成.基于关键姿势的人体动作识别[J].电视技术,2014,38(5):38-41.
[7] 陆萍.Innography在学科核心专利挖掘中的应用研究[J].图书馆工作与研究,2012(8):122-125.
[8] 刘文平.基于Thomson Innovation平台爆炸物核探测技术专利分析[J].图书情报工作,2012(S2):245-248.
[9] 康凯,李熙.智能电视手势遥控技术重要发明人分析[J].电视技术,2013,37(18):34-36.
刘振宇(1976— ),本科,工程师,主要研究方向为专利分析、情报研究;
管 泉(1964— ),本科,高级工程师,研究方向为科技发展战略研究;
刘 瑾(1972— ),女,本科,高级工程师,研究方向为情报研究;
赵 霞(1966— ),女,本科,研究员,研究方向为专利分析。
责任编辑:时 雯
Analysis of Global Posture Recognition Patent of Smart TV
LIU Zhenyu,GUAN quan,LIU Jin,ZHAO Xia
(QingdaoInstituteofScientificandTechnicalInformation,ShandongQingdao266003,China)
Using the analysis tools, such as TDA,Innography etc,the profiles of Global patent of gesture recognition of Smart TV are analyzed and studied based on Derwent Innovations Index(DII),including overall development trends,global patent market layout,publication country and priority country geographic distributions,Hot technology, cutting-edge technology, Important patent,innovation teams,and so on. It can help enterprises to understand the development trend of the gesture recognition technology of smart TV and its main competitors,and provide reference for the cooperation and research of gesture recognition technology,and the development of smart TV industry.
smart TV;gesture recognition;posture recognition;patent analysis;derwent innovations index
青岛市知识产权局项目(2013Z-08)
TP29;TN94
A
10.16280/j.videoe.2015.18.006
2014-11-24
【本文献信息】刘振宇,管泉,刘瑾,等.全球智能电视姿势识别专利分析[J].电视技术,2015,39(18).