刘 渊
(国家知识产权局专利局电学部,北京 100088)
随着经济和技术水平的发展,依托互联网、物联网技术的飞速发展以及相关智能产品设计和制造水平的提升,智能家居(smart home)的概念已经被越来越多的家庭所熟悉和接受。
早在20世纪70年代末,斯坦福研究所就提出了家庭设备控制总线的思路。1984年,美国的联合科技公司(UTBS)在康乃狄克州的一栋旧式大楼中应用计算机、无线通信、嵌入式及互联网等技术实现了对邮件、光照、人员出入及广播系统等的统一控制。这是世界上首座智能化建筑,为后来的许多智能家居系统提供了启示[1]。智能家居在20世纪90年代快速发展,1995年出现了后来成为ISO国际标准的BACnet协议,受其启发的思科网络社区工程、MIT的Smart Kitchen以及Arizona大学的I2SEE等多种智能家居项目随之先后涌现。
智能家居在我国起步较晚,但是随着近年来经济发展和科学技术水平的提升,国内企业逐步将智能家居概念转换为实际服务并推向市场。国内传统家电龙头企业海尔和TCL分别提出了“U Home”和“智能管家”等智能家居产品。作为新兴科技企业代表的小米公司,更是提供了构成其完整智能家居生态的多系列产品,覆盖家庭生活的方方面面,将用户家庭生活中的各类产品纳入其中进行智能控制[2]。
在人们的家庭生活中,家庭娱乐活动始终占据着很大的比重。智能家居技术的成熟使得用户能够利用移动终端对接入家庭网络的电视机、个人计算机、音响等娱乐设备进行管理和控制,从而获得相比以往更加便利和舒适的家庭娱乐体验。智能电视是家庭娱乐系统的重要组成部分,是计算机、网络以及数字技术共同发展和融合的结果。通过为用户带来更好的交互体验、更丰富的视听内容,智能电视目前已取代传统电视成为市场上主流的电视娱乐产品。根据智研咨询网发布的《2018—2024年中国智能电视行业市场运行态势及投资战略咨询报告》,作为家庭大屏终端的智能电视的市场销量近年来大幅增长,继个人计算机、智能手机和平板之后,得到了消费者的广泛关注。
基于所搭载的Android(安卓)、HarmonyOS(鸿蒙)等操作系统,当前主流的智能电视具备一定的计算和通信能力,用于执行诸如视频内容解码和数据传输之类的任务,并且能够通过安装各种应用程序实现各种各样的娱乐功能[3]。此外,通过与手机、计算机、智能音响、游戏机等其他智能设备共同接入家庭网络,智能电视甚至能够带来更为丰富和多样化的娱乐体验。例如,在由多种设备组建的分布式家庭娱乐系统中,诸如DLNA、Miracast、AirPlay等多屏互动等技术已经比较成熟,在家庭娱乐活动中被广泛应用。其中,用户可以利用手机作为娱乐场景的控制终端,智能电视则作为中心大屏设备在其他智能设备的配合下为用户提供最佳的视听体验。由此可见,凭借其传承自传统电视设备的大尺寸屏幕(并且具有日渐大型化的趋势),即使诸如手机、平板设备之类其他终端设备往往具有更强大的计算能力和更丰富的功能选择,也仍然无法完全取代智能电视在家庭智能娱乐系统中的重要地位。智能电视的大尺寸屏幕为诸如互动游戏、多人观影等共享式娱乐场景提供了最基本的硬件保障。
近年来,伴随着互联网和相关软硬件技术的迅速发展,作为热门技术之一的人工智能也在智能家居场景中被广泛应用,使得接入多种设备的智能家居环境的功能更加强大[4]。具体到智能电视的使用,人工智能技术使得语音操作、用户使用习惯学习、个性化内容推荐等功能得以实现,为用户带来了“量身定制”的个性化体验。
在家庭娱乐活动场景中,智能电视的“智能”主要体现在两个方面,即与其他设备的协同控制和操作,用户与智能电视的人机交互。根据中国专利摘要数据库(CNABS)检索的结果,截止2022年7月,与智能家居相关的专利申请超过3.5万件,其中涉及设备交互和控制操作的专利申请则超过2.5万件,占比超过70%。具体到智能电视而言,相关专利申请接近1.3万件,其中超过60%涉及交互和控制操作。上述专利申请数据表明,无论是整体的智能家居环境还是具体的智能电视设备,相关企业技术创新的发力点都集中在设备控制和用户交互上。智能家居的核心在于用户体验,而在用户使用的过程当中,智能设备的操作和控制以及人机交互过程显然是最直接的第一手用户感受,必然与完整的用户体验和后续的用户反馈直接相关。笔者认为,这也是相关企业将大量研发成本投入到上述方面的原因所在。
中国电子商会和京东家电于2017年7月联合发布的《2017人工智能电视白皮书》对人工智能电视进行了如下定义:“通过传感器接收用户指令,依靠基础应用和基础数据平台识别并理解用户目的,做出反馈和处理。同时依托完善的技术逻辑和大数据运营,结合深度学习算法,分析用户使用习惯,掌握用户偏好和行为逻辑,以实现更精准的交互及个性化内容推荐”。从整体智能家居环境到具体的智能电视设备,应用于其中的人工智能相关技术主要涉及传感器技术、语音识别、深度学习以及图像识别等。结合上文的专利分析结果来看,智能电视相关的多设备协同控制和人机交互操作也正是依托上述各项技术而得以实现的[5]。
物联网是将人工智能技术应用于智能家居环境的关键环节。各种智能家居设备通过物联网接入而处于“在线”状态,并且通过各种各样的传感器来实现智能家居环境中各种类型信息的检测和收集,作为后续设备协同控制的判断和触发依据以及提供控制执行结果的记录和反馈。智能家居环境采用的传感器包括具有互联网接入功能的各种类型的传感设备,用于采集所处环境的包括温度、湿度、亮度、移动状态、设备工作状态在内的各种信息和参数。如同人类用于感知环境的五官,传感器设备就是各种智能家居设备用于感知环境的“器官”。
智能电视设备与其他设备的协同控制是基于不同设备间的数据信息通信和传递,而各种传感器数据则是其中的重要组成部分。CNABS数据库中的检索结果显示,涉及智能电视相关的传感器技术应用的专利申请超过4千件,其中2011年的申请数量(75件)虽然不足百件,但是仍超过2010年申请数量(7件)的10倍以上,随后在2年时间内快速增长至超过每年500件的数量并且直至2016年仍保持此数量水平。自2017年起,相关技术的申请数量开始呈现略有下降。上述申请年份的分析结果表明,智能电视相关的传感器技术应用在过去十年间经历了快速崛起、高速发展和稳定成熟的阶段。进一步分析上述专利申请的申请人数据可知,其中来自国内申请人的申请数量占比达88%。在申请量超过50件的申请人中,除了长虹、创维、TCL、海信等传统家电企业之外,也有以小米公司为代表的新兴技术企业。值得注意的是,传统上分别以计算机整机硬件和移动互联网为代表性业务的联想和腾讯也位列其中。由此可见,在智能家居和智能电视市场高速发展的十年间,国内企业凭借着前一阶段在家电、互联网、移动通信等领域的技术积累以及对国内消费市场的高度适应,在国内智能电视市场的竞争中抢占了先机。各家企业都根据自身的技术优势和特点从不同角度实现切入,力争在该新兴技术领域获得一席之地。具体申请人分布如图1所示。
图1 智能电视相关传感器技术应用的专利申请人分布
小米公司提交的申请号为201510122405.7的发明专利申请,就是智能电视设备应用传感器技术实现多设备协同操作和管理功能的典型范例。该专利申请涉及一种智能电视内容推荐方法。其中,智能电视能够经由关联的终端设备获得用户的健康状态信息、用户所处地理位置的环境信息、用户的电视观看状态信息等,随后从文件库中获取内容关键字与上述信息相匹配的目标文件推荐给用户。智能电视可以通过用户佩戴的智能穿戴设备或者诸如空气净化器、体重秤之类的智能家居设备获取用户的健康状态信息,而且可以记录用户观看电视的时间数据,得到用户的电视观看状态信息。该方法通过主动向用户推荐与其健康信息匹配的内容,提高了智能电视的智能化程度。
对于智能家居用户而言,使用和操作智能电视设备的人机交互体验,是其感知智能化水平最直观的方式。凭借软硬件功能模块的支持以及人工智能技术提供的学习技能,智能电视为用户提供了多模态的交互能力,如语音交互、手势交互、体感交互等,使得视频娱乐、远程会议、游戏健身等多样化的体验能够以智能电视为载体呈现给用户。
自然语言处理(Natural Language Processing,NLP)是人工智能领域的一个重要研究方向,是以语言为对象,利用计算机技术来分析、理解、处理自然语言的学科。自然语言处理在作为语言研究工具的计算机的支持下对语言信息进行定量化的研究和处理,提供可供人与计算机共同使用的语言描写。自2008年起,作为人工智能重要分支的深度学习被引入自然语言处理的研究,并在机器翻译、问答系统、阅读理解等领域取得了一定成功。人工智能技术的研究与相关传统产业融合,伴随着互联网技术演进催生出新的需求,进而推出新的概念和产品。智能家居环境以及其中具体的智能电视设备都属于这种技术融合的产物。
基于人工智能技术的自然语言处理在智能家居和智能电视设备中的应用,使得用户的人机交互方式极大丰富,尤其在语音交互方面重点体现。笔者在CNABS数据库中检索到605件涉及智能电视语音交互的专利申请,申请时间基本处于过去十年,呈现整体上升的趋势。与上文智能电视相关的传感器技术应用状况相似,在上述605件专利申请中,国内申请人占据了60%以上的明显多数,表明国内企业对于智能电视市场高度重视,具有各方向技术研发的全面意愿和能力;在着眼于相关硬件配备升级的同时,也重视通过技术创新实现智能电视用户的使用体验。
与传感器技术在智能电视的应用相比,语音交互技术相关专利申请人的分布有所变化。作为互联网新技术企业的代表,百度、腾讯、阿里巴巴等企业在这一领域的申请量均排名靠前。这一结果表明,上述企业在人工智能的研究方面具有一定技术储备,并且以此技术优势作为智能电视领域的切入点,在产品应用层面争取市场份额。
语音交互功能实际上已经成为智能家居环境和智能电视产品的标准配置。对于智能电视用户而言,传统的文字输入方式效率极低,语音交互不仅能够解决效率的痛点,而且还为用户提供了极大的自由度,不必受到输入工具和环境空间等方面的限制。例如,智能电视已经能够支持远场语音交互,基于麦克风阵列对用户语音波形进行识别,并通过波束成形技术实现定向收声,使得用户在身处不同位置的情况下都能够实现与智能电视的交互。借助于人工智能技术对用户语音指令的学习和理解,智能电视能够更加准确、有效地理解和预测用户的意图,从而实现与用户的多轮对话。相比一问一答的传统交互方式,智能化水平和用户体验明显得到提升。
图2 智能电视相关语音交互技术应用的专利申请人分布
作为上述人工智能语音交互应用场景的示例,百度在线网络技术(北京)有限公司提交的申请号为202110874445.2的发明专利申请涉及一种应用于智能电视的人机交互方法,使得智能电视在满足预设条件时进入连续对话模式,避免用户在人机交互过程中的多次唤醒;并且在交互期间利用预先训练的意图识别模型对用户语音指令进行意图识别以确定用户意图,对有效指令和无效指令加以区分,同时所述意图识别模型还利用语音指令作为样本进行训练和学习。
人工智能技术在智能电视产品的应用上并不局限于人机交互的具体方式,还扩展到交互的内容本身。用户对于智能电视产品的根本需求在于内容的体验,通过交互过程满足用户对于内容本身的需求,提供用户期望并使其满意的优质内容,更能够体现基于人工智能技术的人机交互的意义。
语言是人类表达情感的重要方式,基于人工智能的自然语言处理能够通过对用户语音内容的语意分析确定用户的情感状态,从而能够针对性地提供个性化内容交互体验。例如,用户在观看某个视频内容的同时说出表达喜欢与否的语句,该语句能够被麦克风所捕捉并且由搭载人工智能技术的语言处理模块进行分析处理,进而确定用户对于此内容的情感或情绪反馈,如喜欢或不喜欢某个内容。经过对用户内容观看习惯的学习,智能电视能够逐步判断用户喜好,在交互过程中针对具体用户实现智能化、个性化的内容推荐,从而通过贴近用户需求来提升人机交互的整体效率和体验。
TCL集团股份有限公司提交的申请号为201910704161.1的发明专利申请涉及一种基于用户识别的智能电视开机内容推荐方法。在响应用户唤醒指令开启电视后,利用收集的用户声音和图像信息进行用户身份识别,根据身份识别结果在电视开机画面上显示相应的节目列表。通过上述方法,智能电视能够根据用户身份或用户群组的不同特征向其推荐不同的内容列表作为开机内容,使得智能电视的开机内容更具个性化和普适性。
根据CNABS数据库中的检索结果,2019年以来,公开/公告的涉及智能电视的人工智能技术应用的专利申请共121件。经过对上述结果进行关键词统计分析后发现,这些专利申请涉及的技术点集中在智能电视用户相关信息和数据的处理和通信等方面。上述分析结果在一定程度上反映出人工智能技术在智能电视领域的最新应用仍然延续提升用户体验的主线。随着技术和市场的进一步发展,智能家居用户对于产品组网通信、个性化内容服务、用户隐私保护等方面的要求必然会进一步提高,相关企业需要在上述方面提升产品、系统和服务的水准,以满足消费者的体验需求。
随着我国经济和技术水平的不断提升,人们生活水平的提高会催生多样化、个性化的消费需求,智能家居生态及其相关产品和服务能够在家居舒适度、便利性及多样化等方面满足消费者需求,在未来仍然具有很大的市场空间。人工智能技术本身也具有不断学习和进化的内在属性,在智能家居相关硬件平台相对成熟的阶段,企业的研发重点需要进一步在应用层面不断提升用户体验,以拓展智能家居产品的发展空间。
美国、日本、韩国等国的大型企业在智能家居、智能电视领域兴起之前已经完成了芯片、材料等上游技术领域的专利布局。为了应对未来不确定的国际贸易和知识产权环境,国内企业需要合理运用知识产权制度,从自身技术优势出发进行相关领域的知识产权分析,梳理相关技术的全球发展脉络,从而把握机会,提升自身竞争力。在国家鼓励技术创新、重视知识产权建设的政策激励下,国内企业更要积极参与相关技术标准的创立和实施,创建中国智能家居和智能电视的自有技术生态。