人脸信息技术应用新热点浅析

李丹立

摘 要：用机器进行人脸图像处理的研究至今已经有四十多年的历史了。在此期间，人们提出了许多具备一定应用前景的算法，商业市场上也出现了许多有实用价值的产品。本文分为三个部分，第一部分简要介绍人脸信息技术的相关背景知识；第二部分简单分析人脸信息技术专利申请的整体情况；第三部分对近年来人脸信息技术的主要应用热点进行分析。

关键词：人脸；图像处理；算法；专利

1 人脸信息技术

所谓的人脸信息技术主要包括人脸检测和人脸识别两大部分。

1.1 人脸检测

人脸检测是指在图像上检测人脸是否存在，若有则应判断出人脸的位置及大小。在各种应用的推动下，进入上个世纪九十年代后，人脸检测技术逐渐得到了各国研究人员的重视，各种更加有效的算法不断提出。这十几年的发展历程大致可分为两个阶段：1999 年以前，基于各类知识特征的方法是主导，这类方法直观易懂、实现简单，但最大的问题是鲁棒性不强；1999年以后，基于统计学习的算法占据了主流地位，随着神经网络、SVM、概率模型等算法的提出，基于统计学习的算法在鲁棒性上得到了很大提高，效率上也可基本满足实时应用的需要。随着相关研究的深入，人脸检测技术在可控环境下（光照均匀、姿态端正、背景简单），已能获得可供实用的检测率。

1.2 人脸识别

计算机人脸识别技术是一门应用技术， 它涵盖信号处理、数字图像处理、计算机视觉、模式识别等多门学科的理论知识。由于计算机人脸识别技术的核心内容是由已知人脸来确定未知人脸的归属问题， 因此， 它更应该认为是模式识别的范畴。

它基本上可分为两个方面：

一是回答“是不是某人？ ”的问题， 它是给定一幅待识别人脸图像， 判别它是否是某人的问题， 也就是通常所说的身份验证（A uthentication）， 它是个“ 一对一” 的两类分类问题；

另一个是回答“ 是谁？ ” 的问题， 它是给定一幅待识别人脸图像， 判断它是谁的问题， 通常所说的人脸识别就是个“ 一对多”的分类问题。

对计算机人脸识别方法的研究主要有两大方向：

一是基于人脸图像部件特征的识别方法；

二是基于人脸图像整体特征的识别方法。主要包括基于特征脸的识别，基于最佳鉴别矢量集的人脸识别，基于Bayesian脸的人脸识别，基于傅里叶不变特征的人脸识别，基于弹性图匹配的人脸识别以及基于神经网络的人脸识别等。

近年来，随着互联网技术的飞速发展，移动终端设备、交互式家庭影音设备的不断升级换代，人脸信息技术有了更为广阔的应用平台和创新空间。

2 人脸信息技术专利的整体分析

全球专利申请量趋势：

经过检索，截止到2014年12月31日，在德温特专利数据库（DWPI）中共检索到7176项基于人脸信息技术的专利申请。

早期阶段，从1995年至2004年，每年的专利申请量都不大，笔者认为，主要是由于早期计算机硬件，特别是摄像头技术还不发达，尽管研究人员在算法支持方面已经做出了很多的努力，但人脸信息技术还没有得到较好的应用平台。从2005年开始，该领域申请量出现持续快速地增长，并在2008年达到最高峰。这个过程正是中国专利申请量迅速上升的阶段，后面的统计分析也将证明，中国是该领域的非常重要的专利产出国。到了2010年，该领域的专利申请量又有了小幅的回落，但尽管如此，该领域的申请量近年来还是保持着较高的，稳定的数量。并且由于专利申请公开的时延性，导致近几年的统计数据并不完整。

根据分析发现，随着以移动互联网技术为代表的计算机技术的发展，出现了大量的，各种形式的人机交互技术，而许多的人机交互技术正是基于人脸信息技术实现的，因此人脸信息技术的应用必将越来越广，对该技术的研发将保持持续的热度，该领域的专利申请量也将继续保持稳步增长的状态。

3 人脸信息技术专利应用新热点

随着硬件设备的不断升级，移动互联网技术的迅猛发展，人脸信息技术有着更广阔的应用平台与创新空间，近年来该领域的专利申请也呈现出许多新的创新热点。鉴于在人脸信息技术领域，日韩企业的申请量占主导地位，优势明显，我们接下来将以索尼和三星电子三两大公司为例，分析这三家公司申请日在2010年至2014年间该技术领域的专利申请，结合各公司的整体发展战略，浅析人脸信息技术中的新热点。

3.1 表情识别

在算法层面，主要是在检测到的人脸基础上，对人脸进行特征提取，得到反映表情特征的关键信息，对得到的表情特征向量进行分类，从而得到所属表情类别。在应用层面，典型的表情识别技术应用如下：

以申请CN201310059339为例（发明名称：图像处理设备和方法以及程序，申请人：索尼公司），该图像处理设备包括脸部检测单元，所述脸部检测单元根据输入图像检测脸部；评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和控制单元，所述控制单元基于由脸部检测单元检测到的脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易地提取包括少数人具有的脸部表情的图像。本申请主要解决的问题为，即使当多个被图像捕捉的人的脸部表情不同时也获得具有高满意程度的图像。

以申请CN201310393418为例（发明名称：将音频和/或图像与脸部特征和表情相关的系统和方法，申请人：索尼公司），系统先识别出至少一个观看者的表情，指令使处理器将标识内容的元数据与观看者的至少一个表情关联。该申请可为内容提供商提供更有效的手段以确定他们提供的内容是否使观看者满意和/或确定观看者对他们的内容的反应的种类。由于照相机与诸如计算机和电视机（TV）的整合已经为内容提供商提供了利用此整合实现诸如此类目的的机会，此类目的包括有针对性的广告投放、提高观看者对节目的满意度等等。

3.2 身份分组

身份分组是通过提取到的人脸特征信息，根据特征信息得到到对应的身份分组，在此基础上再提供进一步的应用服务。

以申请CN 201210318981为例（发明名称：以言语方式进行交流的面部响应电视设备，申请人：索尼公司），本发明所教导的电视设备以个性化的会话方式与用户进行言语交流。该交流是响应于摄像机收集的图像信息进行的，其中，该摄像机与电视中执行图像处理（例如，包括面部辨认）以识别靠近电视的个人观看者和观看者群组的计算机相连接。该系统不仅确定人是否位于电视装置附近，而且实际上对这些人的身份进行确定，并且交互地利用此信息来生成个性化的言语输出。

3.3 基于人脸位置进行图像裁剪

以申请CN201410003848为例（发明名称：用于在具有相机的装置中处理图像的设备和方法，申请人：三星电子株式会社），本申请提供一种当使用具有相机的便携式终端或相机装置进行拍摄时通过识别人的脸部区域并以识别的脸部区域为中心设置裁剪区域来裁剪人物照片的设备和方法。本申请还提供了一种在照片中包括多于一人的情况下，通过设置裁剪区域来裁剪照片，从而每个人的脸包括在裁剪区域中的设备和方法。

3.4 根据人脸位置确定人体其他部分的位置及姿势

由于人脸特性相对于身体其他部位更为突出，更易于检测，因此在图像中检测到人脸后，可以根据人脸与身体其他部位的位置关系，确定人体其他部位的位置及姿势。

具体应用示例如下：

以申请CN 201210318981为例（发明名称：以言语方式进行交流的面部响应电视设备，申请人：索尼公司），通过检测图像的面部区域、根据面部区域的位置设置至少一个动作区域、将与至少一个动作区域相对应的图像数据与检测信息进行比较以便确定是否已经执行预定动作、以及当确定已经执行预定动作以及接收合作控制信息时基于合作控制信息而实行预定处理，实施设备以及方法。本申请提供的方法，先对人脸进行检测，在检测到人脸位置的基础上，再确定如人手之类的其他身体部位的位置，从而降低目标识别的计算量。

4 结语

众所周知，近几年来，索尼与三星电子在核心产品线上发展战略各有侧重，相对于三星电子在移动终端设备方面表现出的强劲势头，索尼的核心产品线更广泛，包括数码相机，游戏机，影音产品等。而无论是移动终端设备，数码相机还是游戏机，人脸信息技术都得以广泛的应用，人脸信息技术出现的新热点，一定程度上反映了两家公司在产品线研发布局上的思路。对于上述几种新热点应用方向，笔者比较了两家公司在DWPI库中关于各方向的申请量，从相关数据中不难发现，索尼和三星电子两家公司对于上述热点技术的侧重还是略有不同，索尼公司在涉及图像运动检测方面申请量更大，而三星公司在表情识别方面的申请更多。笔者认为，这也从侧面反映出两家公司的研发重点，由于索尼公司在数码相机和游戏机方面的表现更为突出，相应地，在这两种产品上应用较多的运动检测和运动跟踪的申请更多；而表情识别技术更广泛地应用于移动终端设备，因此三星公司在这方面的专利申请更多。

综上所述，科研人员在算法和应用层面都不断取得突破性的进展，人脸信息技术在未来有着广阔的发展前景，人脸信息技术的专利分析是计算机视觉，安防系统，通信技术等领域科研人员都值得关注的课题。