人脸表情识别技术专利分析

李旭 万雪超

摘 要：人脸表情是情感的主载体，通过脸部表情能够表达人的微妙的情绪反应以及人类对应的心理状态。通过人脸表情可以得到很多有价值的信息，因此，人脸表情识别应用在合成脸部动画、视频检索、虚拟现实技术等领域，且它的研究对于自然和谐的人机交互、公安刑侦、医疗诊断、远程教育、安全驾驶等都有重要的作用和意义。

关键词：人脸表情识别，特征提取，表情分类，专利申请，应用

1人脸表情识别技术概述

1.1人脸表情识别系统架构

经过几十年的发展，人脸表情识别技术已经形成了一个完整的体系，典型的人脸表情识别系统包括三个部分：人脸检测、定位与表情图像的获取，脸部特征提取和表情分类。其中，人脸检测、定位与表情图像的获取包括由输入图像定位人脸、对定位的人脸分配一个通用的坐标系以及进行图像的预处理；脸部特征提取这一步用来提取和数据化由表情引起的人脸面部变化及趋势；最后表情分类是基于表情描述与情感的映射关系去判断提取的特征所对应的表情分类。

人脸图像检测与定位的基本思想是用知识或统计的方法对人脸建模， 比较待检测区域与人脸模型的匹配程度， 从而得到可能存在人脸的区域。

定位人脸后是特征提取部分，由检测到的人脸区域获得有效的面部表情特征是表情识别系统成功与否的关键。常用的图像特征提取的方法有：线性判别分析、Gabor小波，光流法、特征点跟踪、法光流法等。

表情分类是指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别。如按照脸部动作分类（FACS），将脸部的动作分类到44个AUs；或按照感情分类，将表情分类到Ekman和Friesen定义的6种基本感情。

1.2人脸表情识别的应用

对表情识别进行深入研究可以使机器人更好地理解人類的情感和心理，使其在与人的交互过程中，变得更友好、更智能、更人性化，从而更好地为人类服务。

（1）基础学科

在行为科学中，人脸表情识别能帮助人们研究和建立交流中的可信度。人脸表情识别能够成为公安部门刑侦和测谎有效的辅助手段。

（2）医疗行业

对于一些重症病人和精神病人，在治疗过程中可以使用具有表情分析能力的护理机器人对其进行实时监护。

（3）安全驾驶

在长途汽车驾驶、核电站管理、驾驶飞机的飞行员等需要高度集中注意力、着重强调安全的岗位上，运用表情识别系统有助于及时掌握工作人员的情绪和生理状况，为其提供有效的安全保障。

（5）电子商务

店主可以通过面部表情分析体系判断出顾客对产品的喜好程度，假如再加上一些简单的倾销技巧，成单率大大进步。

2人脸表情识别的专利基本情况分析

本章以人脸表情识别技术的专利为切入点，对该领域的专利现状进行宏观分析。

2.1全球专利申请分析

为了获得与人脸表情识别技术相关的专利技术的全球申请情况，在DWPI数据库中通过关键词和分类号的相关专利申请，分析专利数据。

2.1.1 全球历年专利申请分析

数据显示，人脸表情识别首次专利申请是在1986年提出的，随着通信技术的发展，人脸表情识别是在2000左右才开始逐渐快速发展，到了2006年，发展速度明显加快，申请量骤然提升，而且在接下来的几年中这种发展都保持良好的态势，虽然有所波动，但是总体而言专利申请量是不断增加的，这与模式识别、人工智能领域受到学术、工业界的关注是密不可分的。

2.1.2 全球区域分布分析

经统计分析，在美国的专利申请占全球专利申请总量的25%，处于第一位；其次是中国，达到全球申请总量的22%；再次是日本，达到全球申请总量的15%。美国、中国、日本和韩国的专利申请数量占到总申请量的大部分份额，远远领先于其它国家，这与它们在图像视频处理领域的行业领头地位不可分离。

2.1.3 全球申请人分布分析

排名前三的公司三星、佳能、INT均是全球视频处理行业的龙头行业，通过阅读这些企业的专利，可见人脸表情识别的核心技术一是如何更加准确的对表情所蕴含的情感、情绪进行分析；二是如何在成像设备或者工业界实现其实用价值。同时，在排名较前的公司里面国内的仅仅有上海交通大学和OPPO，而上海交大的高校申请主要是基于人脸表情识别的理论算法研究。

2.2国内专利申请分析

2.2.1 国内技术趋势分析

与全球专利申请年代相比，我国人脸表情识别技术起步比较晚，在2005年之前国内对人脸表情识别技术的专利申请量较少；在2005年之后，随着人机交互的大力发展，人脸表情识别技术领域的专利申请量才逐渐增多，专利申请总量整体来说一直呈上升发展趋势。在2014年达到高峰，基本持平全球专利申请的水平，这表明中国的人脸表情识别技术已经越来越受到全球范围内的重视和关注。

2.2.2国内申请人分布

在我国的人脸表情识别专利申请中，主要申请人还是高校，企业和个人专利申请所占比例较少。以韩国的三星、日本的索尼、美国的英特尔为首的龙头企业也印证了上述分析的美、日、韩在人脸表情识别中的技术发展的重视和先驱作用。国内的企业北京中星微电子、欧珀也紧跟技术发展趋势；同时，后期涉足人脸表情识别的华为公司，虽然申请量不多，但作为国内既看重技术革新又有商业战略的大势公司，可以看出其对人脸表情识别领域的兴趣与储备，预计后续可能还有更多相关的专利申请量。

2.2.3国内申请区域分布

我国北京在人脸表情识别技术领域的申请量处于第一位，广东和江苏分别位居第二和第三。由于在国内从事人脸表情识别的大多是高校的研究团队，而北京、上海、浙江的高校较集中；而沿海的广东省作为电子产品行业的领先区域，发展较快。

3小结

经过多年的快速发展，人脸表情识别不论是从技术研究、专利申请，都取得了长足的发展。可以预见，随着该技术的不断发展，相关专利技术的博弈也将进入白热化。谁能掌握核心专利技术，谁就能保护自己的合法权益，从而在激烈的市场竞争中胜出。

作者简介：

李旭 1989.09，汉族，湖北武汉，女，硕士研究生，视频图像处理。

万雪超 1989.12，汉族，湖北武汉，女，硕士研究生，视频图像处理（等同第一作者）。