人脸识别技术在家用摄像头中的应用

耿兆森，董伟杰，赵家伟

（中兴通讯股份有限公司FM产品团队，南京 210012）

1 应用场景及技术发展趋势

家用IPC（IP Camera，IP智能摄像头）是传统网络摄像机与云计算技术相结合的产物，是专为家庭看护而设计的产品。随着人们安全防范意识的提高，再加上近几年智能家居业务的迅猛发展，推动着家用IPC成为众多家庭的标配。

从市场层面看，近几年家用IPC在国内一直保持着稳定、快速的增长。除了小米、萤石、乐橙、360、中兴等企业外，国内的三大电信运营商也把IPC作为其智慧家庭的核心业务，纷纷推出自己的产品，如中国移动的 “和目”智能摄像头。

从业务层面看，家用IPC主要用于家庭看护，如看小孩、看老人、看宠物等，主要提供远程查看、视频通话、移动告警、家庭相册、视频云存储等功能。

从技术层面看，家用IPC正从“看清”向“看懂”的方向发展。主要表现为三个特点：

（1）720P产品正逐步被淘汰，1080P、H.265产品已成为主流，2K IPC很快会面市，其占比也会逐步提高，使得家用IPC图像更加清晰。

（2）AI（Artificial Intelligence，人工智能）技术应用于家用领域，使得IPC具备人脸识别、行为识别、视频检索等“看懂”视频图像的能力。

（3）视觉识别技术有前端识别和云端识别两种技术体制，这两种体制未来会长期并存，相互分工、协作。

下面主要从技术角度阐述家庭看护领域AI的关键技术以及技术实现方案，而H.265、2K等视频技术不在本文的讨论范围之内。

2 主要技术方案

近些年来AI技术得到爆发式发展，其中人脸识别技术已经在公共安全、电子支付、电子门禁等诸多领域得到了广泛应用。在专业监控领域，安装在道路上的摄像机主要承担视频采集的工作，有的也承担一些视频分析预处理工作，大规模的、更复杂的人脸检索、运动轨迹分析等会交由云端服务器完成。

家用IPC借鉴了专业监控IPC AI实现方案。根据人脸识别AI分析的地点，分为前端（IPC侧）识别方案和云端识别方案两类。

尽管人脸识别技术在专业IPC已应广泛应用，但若将专业监控IPC的AI算法直接用于家用IPC，存在识别率偏低、算力资源需求偏高等问题，因此需要对专业监控AI算法进行改进和优化。

2.1 算力要求偏高

基于成本的考虑，家用IPC的SoC（System on Chip，芯片系统）芯片一般采用ARM、MIPS架构，内置CNN（Convolutional Neural Networks，卷积神经网络）的算力较弱，而专业监控的人脸识别AI计算大多是基于GPU（Graphics Processing Unit，图形处理器）实现，算力差异大，因此非常需要对算法进行降维、剪枝，以达到设备成本与算力间的平衡。就算力而言，云端识别方案较前端识别方案更有优势。

2.2 人脸比对准确率偏低

家用IPC一般会被放置在墙角、空调机柜上方、电视柜等地方，IPC拍摄时人脸不能正对镜头，此外家用IPC多采用相对便宜的感光器件，拍摄出来的视频存在一定程度的畸变，图像偏暗，也会影响人脸识别准确率。

2.3 采集的人脸尺寸偏小

由于IPC的放置距离一般较远，导致视频中采集的人脸尺寸偏小。理论上人脸的尺寸达到180×270像素时，其识别准确率就能有所保证，但从实际使用情况看，不同算法对人脸尺寸的要求会有所差异。

表1 云端识别、前端识别技术方案对比

3 关键技术

下面结合中兴通讯的小兴看看云化IPC AI技术解决方案，简要介绍家用IPC AI关键技术。

3.1 基于容器的AI云平台技术架构

将云计算技术与AI融合，使得AI的IT基础架构具有云计算的弹性扩容、按需分配的特点，同时也能满足AI的高性能、多元需求的需要，因此基于容器架构的AI云平台是一个不错的选择。

AI容器云平台可在开源云平台基础上，快速构建CPU+GPU的弹性异构AI云平台，实现对异构的云计算资源池进行调度和分配。集成Caffe 2、Tensor Flow、CNTK等深度学习分布式架构，能有效提高训练模型的扩展性，快速构建深度学习的开发环境和生产环境。

图1 IPC AI容器云平台架构

3.2 前端IPC与和后端服务器分工协作，降低AI算力需求

IPC采集视频流，只有在画面中出现人脸时，才需要进行人脸识别，若将全部视频流转发给AI服务器分析，势必会导致AI服务器产生不必要的资源浪费。

通常情况下，IPC支持移动侦测、人形检测、人脸检测等基本功能，为此IPC可对视频流进行预分析处理，当视频画面发生变化后，可再进行人脸检测分析，如果人脸尺寸已达到预设的人脸比对尺寸，再转发视频流给AI服务器进行下一步的人脸识别分析。

图2 AI推断分析流程

基于CV（Computer Vision，计算机视觉）的AI分析，除可以进行人脸识别，还可以进行行为识别、跌倒识别、危险识别等多种视频业务分析。

3.3 畸变人脸图像的比对

家用IPC镜头的四周图像畸变一般会比较大，畸变后的人脸与人的正脸比对时，其准确率会较低，因此对待比对人脸进行人脸对齐处理就显得尤为重要了。

所谓人脸对齐，是指将畸变人脸按照标准人脸进行归一化的过程，将畸变人脸形状尽可能贴近标准人脸的形状，从而减小人脸比对时由于人脸畸变而产生的影响。

人脸对齐主要将人脸中的眼睛、嘴角、鼻尖、眉毛以及人脸各关键部件轮廓点检测出来，并按照人脸坐标框输出五官关键点的坐标序列。根据两个人眼的连线与水平位置的夹角来确定人脸旋转、矫正的角度，然后再进行仿射变换，使之对齐。五官关键点的数量常见有5点、68点、90点等。

MTCNN（Multi-task convolutions neural network，多任务卷积神经网络）是一种级联的人脸对齐技术架构。MTCNN总体可分 为P-Net（Proposal Net）、R-Net（Refine Net）、O-Net（Output Net）三层网络结构。其中，P-Net，较浅层的CNN，快速产生候选窗体，获取候选脸部窗口和边界框回归向量，用边界框回归向量校准候选脸部窗口。R-Net，较复杂的CNN，继续过滤大量的虚假窗体，用边界框回归校准候选脸部窗口。O-Net，更强大的CNN，确定脸部区域后，最终输出5个关键脸部关键点信息。

图3 MTCNN流程示意图

除MTCNN外，其他人脸对齐算法还有LAB、3DDFA、PRNet、GridFace等等，几种算法各有千秋。

3.4 图像光线、色彩也会影响人脸比对准确率

人脸识别是基于人脸3D结构分析的，光照投射出的阴影会加强或减弱原有人脸的特征，尤其在傍晚或弱光情况下，由于光线不足造成面部阴影会导致识别率急剧下降。基于K-L变换的人脸识别算法对于抗光线干扰存在一定的优势。

此外在光线太暗时，IPC会切换到红外工作模式，此时IPC拍摄的视频图像是黑白的，而目前基于黑白视频图片的人脸识别算法还不够成熟。

4 结束语

随着基于视频图像分析技术的不断进步，新的技术架构以及算法会层出不穷地出现，推动着家用IPC的人脸识别准确率越来越高。

家用IPC支持人脸识别功能后，可以按照人员对视频图像进行分类管理，提供家庭相册、视频人员检索等功能，还可以与智能家居系统联动，为不同用户提供音乐、灯光、空调等个性化智能控制。

除人脸识别的基本AI应用外，未来还会支持诸如人员跌倒识别、危险动作识别、火警识别等其他丰富的AI应用，为用户提供更安全、可靠的家庭看护服务。