基于人脸检测的多媒体互动游戏系统的研究

昔 克，周珊珊，马新春，赵文龙

（新疆电子研究所有限公司 新疆 乌鲁木齐　830013）

基于人脸检测的多媒体互动游戏系统的研究

昔 克，周珊珊，马新春，赵文龙

（新疆电子研究所有限公司 新疆 乌鲁木齐830013）

针对多媒体互动游戏系统实时互动的要求，提出一种人脸肤色与局部特征相结合的实时人脸检测与跟踪方法。首先对视频图像光线补偿，且帧差法提取出视频中运动目标；然后根据肤色在YCbCr颜色空间内Cr和Cb分量的特定分布范围建立肤色模型，确定出可能存在人脸的类肤色区域；中值滤波去除噪声后，通过人脸简单几何特征和唇部独有的颜色特征滤除非人脸肤色区域，准确定位人脸在图像中的位置。实际应用表明，该互动游戏系统能快速准确的跟踪玩家的面部位置，通过处理器判断人脸与掉落物体是否对接，打分计数器做出相应打分，实现整个互动效果。该互动装置使玩家无需控制器即可享受交互体验，同时达到商品宣传促销的目的，具有巨大的商业前景。

运动目标追踪；人脸检测；肤色模型；唇部检测；人机互动

随着计算机通信技术的快速发展，越来越多的电子设备为人们所应用，随着各种电子设备的不断更新换代，人机互动技术应运而生，触控技术就是人机互动技术的研究成果之一。目前现有的人机互动技术实现的体感游戏通常是通过计算机及控制装置来实现。控制装置如游戏手柄、触摸屏等通常会被用户单手或者双手握于手中进行操作。当玩家长时间处于玩游戏状态中的时候，这种游戏形式的弊端就显现出来了，比如长时间游戏操作造成的手指、手腕、眼睛等器官或关节的过度疲劳、劳损等问题；若是以游戏为工作的玩家，上述问题就会显现的尤为明显。

鉴于以上所述现有技术的缺点，文中研制了一种基于人脸检测的多媒体互动游戏装置，用于解决现有技术中无需控制装置也可以实现人机互动游戏的问题。针对互动游戏系统的需求，结合人脸检测技术的最新研究进展，提出了一种适用于互动游戏中的人脸检测追踪方法。突破人脸检测应用于身份检测的狭义领域，开放性的将其应用于互动游戏的控制。该游戏系统可根据客户的需求，在设备里更换适合客户商品展示的内容，并打印出相应的优惠券。不仅满足不同客户的要求，而且让玩家在实现娱乐健身的同时又可以得到商家提供的优惠券，是一种新型独特的促销手段，具有极大的商业推广空间。

1　系统简介

该多媒体互动游戏装置如图1所示主要包括：显示设备，摄像设备，处理器，打分计数器，打印设备。玩家站在游戏装置正前方，跟随显示设备显示连续动态掉落的元素做出相应动作，摄像设备捕捉玩家的脸部图像，并定位追踪玩家的脸部图像。与显示设备和摄像设备分别相连的处理器判断脸部图像与元素是否对接，然后打分计数器根据判断进行计数打分，最后打印设备打印输出打分结果。系统的工作流程如图2所示。

图1　装置的硬件系统图Fig.1　The hardware system diagram of the device

图2　系统工作流程图Fig.2　The flow chart of system work

2　互动游戏中人脸检测与追踪技术

视频图像序列中人脸的检测和追踪是整个互动游戏系统中最关键的部分，针对互动游戏的实时性要求，人脸检测定位过程必须快速准确。大量研究发现，建立肤色模型进行人脸检测，可有效排除面部姿态、表情等因素的干扰，且具有算法简单，检测迅速的优点，但其缺点是易受类肤色区域的干扰准确性差。因此，典型的人脸检测系统一般先用肤色模型进行人脸初检测，然后结合其它检测方法精确检测人脸[1-2]。文中采用肤色检测与人脸局部特征检测相结合的方法在运动目标中进行人脸检测，前者主要标定出输入图像中可能存在人脸的类肤色区域；后者则通过人脸几何特征及标志器官检测逐步确立人脸区域位置，总体结构如图3所示。该方法不仅充分发挥两种检测技术各自的优点，获得较快的速度和较好的鲁棒性，而且在三帧差分法图像处理后的运动目标中进行人脸检测，完成目标跟踪的同时又可以减少背景环境对游戏互动的影响。

2.1图像预处理

2.1.1光线补偿

摄像头自动对进入互动装置拍摄范围内的用户进行图像采集。考虑到互动游戏装置本身的可移动性及在游戏厅、餐厅、酒吧等灯光特效应用较多场所的市场需求，系统直接采集的视频图像序列很可能会受光线及设备自身的影响，存在噪声及色彩偏差，影响人脸灰度的相对分布，进而直接影响人脸检测与定位的准确性。因此，为满足互动装置的实用性要求，本系统对采集视频图像进行了自适应光线补偿。每幅视频图像有N个像素点，设像素点亮度值为f（x，y），将图像按亮度值从高到低分成256个灰度等级，第K级灰度值为mk，出现频数为nk，则该灰度级出现频率为Pm（mk）:

图3　人脸检测方法流程Fig.3　The flow chart of face detection process

K级以上灰度像素点的分布概率为：

系统自适应光线补偿取图像灰度分布前5%的像素点，即Sk≤5%，Sk-1≥5%时K级以上灰度的像素点，对其进行线性放大，使这些像素的平均亮度达到255[3-4]。另外，在此基础上，其它的像素点则按照光线补偿系数进行相应补偿。

2.1.2运动目标区域提取

本互动游戏装置采集的视频序列中，人脸是一个运动区域，根据运动检测和运动分析可以分离出视频中的背景和前景。去除图像中静止背景区域的干扰，只在运动前景中检测人脸，不仅保证检测的准确性且满足人脸快速实时检测的要求。目前，常用的前景提取方法有背景差分法、光流法和帧差法[5-7]。背景差分法对动态场景变化要求较高，光流法能在运动摄像机中检测出运动目标，但这种方法计算太复杂，不适合实时系统使用；而帧差法比较适合变化的动态场景，且实现简单，计算速度快，适合互动装置的实时处理。为了提高运动目标提取的可靠性，本系统采用连续三帧视频图像进行对称差分。提取运动目标的具体步骤 ：首先，等时间间隔抽取3帧连续视频图像，并将k时刻抽取视频图像在位置（x，y）处的像素记为Fk（x，y），k代表t-Δt，t，t+Δt 3个时间点。设像素Fk（x，y）对应的灰度值为Hk（x，y）。将相邻两帧图像分别进行差分处理：

若连续两帧图像灰度差分Dt（x，y），Dt+Δt（x，y）大于阈值Th，被判断为运动点，赋值1，否则为静止背景点，赋值0。然后，为了尽量减小背景因素的影响，增加运动目标提取的精确性，对Dt（x，y），Dt+Δt（x，y）进行相“与”运算。此处，阈值Th选取非常重要，如果取值太大，将会引入大量噪声，取值太小，又会漏掉很多有效信息造成运动目标区域严重碎化。本文运用实时采集图像的灰度值确定动态阈值的方法[8]，保证了视频图像中运动目标信息提取的准确性和完整性。

2.2人脸区域定位

该部分首先通过肤色和人脸典型几何特征快速确定视频图像中可能存在人脸的区域；然后通过唇部检测确定人脸区域及位置。本系统采用肤色和面部特征相结合的方法来确定视频序列中的人脸，提高人脸检测准确性的同时又达到了检测实时性的要求。

2.2.1肤色检测

面部肤色在聚类特性较好的YCbCr空间内，Cr范围约为133～173，Cb的范围约为77～128[9-10]。本系统根据YCbCr空间内Cr、Cb的这种特定分布，建立肤色模型对图像处理后提取出的运动目标进行人脸粗检测。首先需要将其从RGB色彩空间转换到YCbCr空间，为了使Cb，Cr分量为正数以适应数字系统的处理，采用以下转换公式:

然后，我们采用二维中值滤波器滤除空间转换产生的噪声，与其它滤波等方法相比，中值滤波不仅能有效滤除图像中的孤立噪声点，还能有效地保护边界信息。通过公式（6）将图像二值化处理，肤色点处理为亮白色，非肤色点处理为黑色像素点。

由于肤色建模是建立在色度空间的，忽略了亮度变化，这就造成人体其他裸露区域及运动的非人体区域等跟人脸肤色比较接近的区域可能被误判为人脸的情况。因此，我们将肤色检测后的多个类人脸连通区域进行标记后，首先通过类脸区域面积及其外接矩形长宽比及欧拉数几个人脸几何参数作为筛选条件，进行初步筛选，然后采用局部特征检测确定人脸区域，并通过特征定位追踪人脸的位置。

2.2.2几何特征检测

1）本应用系统中玩家跟摄像机的距离不会很远，固输入图像中玩家面部区域占整个视频图像比例不应很小，因此首先我们将小于视频图像1/200的类人脸连通区域排除。

2）类人脸区域长宽比

③循环上述步骤，直到判定此区域的去留。

3）类人脸区域内孔洞数

由于互动游戏系统是正面人脸检测，人脸图像中必存在眼睛、眉毛（有时也存在嘴巴、鼻孔区域）等明显的非肤色区域，固人脸区域至少有一个或多个孔洞，可以根据欧拉数准则滤除非人脸区域，设E为欧拉数，C为连通域数，H为孔洞数，则对人脸区域有：

舍弃E>0的非人脸区域。

2.2.3唇部检测及面部区域定位

眼睛和嘴唇是人脸上与肤色特征分离较好的标志器官，考虑到玩家运动时，面部表情丰富可能存在闭眼的情况，本文采用唇部检测及定位最终确定运动目标的人脸区域。通过采集图像统计发现，在YCbCr空间中，相比其他面部肤色，嘴唇具有更高强度的Cr分量，Cr∈[145，160]。另一方面，人的肤色和唇色在而在YIQ颜色分布空间中具有明显的聚类性和可分离性，唇色Q∈[16，30]。为了简化运算量，选取通过人脸几何特征验证后的连通区域的下半部分进行唇部检测（唇部在面部的下半部分）。RGB空间向YIQ空间转换的公式为：

将满足Cr∈[145，160]且Q∈[16，30]区域标定为唇部区域，并根据唇部在人脸中的分布规律，确定人脸区域。

3　互动游戏系统的实现与应用

图4为多媒体游戏互动装置的实物效果图。如图4（a）所示，基于该人脸检测系统的游戏装置可以对人的头部运动做出准确快速的检测和定位，在人脸正上方的小金碗随着玩家的头部运动做出实时准确反映，并根据接到掉落物品做出“＋40”分和“＋20”分的打分响应。如图4（b）所示，经过不同的外观设计，该互动游戏装置可适用于不同的场所（酒吧、幼儿园、饭店等），得到了不同人群的广泛喜爱。

图4　基于人脸检测的多媒体互动游戏装置的实物效果图Fig.4　The physical map of device

4　结束语

文中提出了一种适用于互动游戏系统的实时人脸检测追踪方案，首先采用帧差法跟踪运动区域，然后通过肤色检测及特征检测相结合的方法快速精确的标定人脸区域。基于该人脸检测技术的互动游戏系统，通过定位跟踪玩家脸部图像，判断与系统内设置掉落元素是否对接进行打分，并根据玩家最终得分打印出相应的商家优惠券。互动游戏装置无需控制器即可操作，解决了人们长时间基于体感控制装置玩游戏导致的手指、手腕、眼睛等器官或关节的过度疲劳、劳损等问题，是一种非常好的娱乐健身装置。同时，该互动游戏装置可根据客户需求设置显示的掉落元素，如可以设置成企业的产品或商标等，并打印出不同的优惠券，在实现娱乐使用者、达到商家宣传的目的的同时，还起到了健身的作用，是现有任何基于体感控制的游戏装置都无法比拟的，是一种具高度产业利用价值的文化创意展示系统[13-15]。

[1]顾伟，刘文杰，朱忠浩，等.一种基于肤色模型和模板匹配的人脸检测算法[J].微型电脑应用，2014，30（7）:13-16.

[2]刘翠响，肖伶俐.基于视频的人脸检测综述[J].电子设计工程，2011，19（14）:172-174.

[3]Hsu R L，Abdel-Mottaleb M，Jain A K.Face detection in color images[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24（5）:696-706.

[4]Yang J，Waibel A.A real-time face tracker[C]//Applications of Computer Vision，1996.WACV'96.，Proceedings 3rd IEEE Workshop on.IEEE，1996:142-147.

[5]胡永，师京晶，郭小丹.基于图像差分的背景差分算法改进及实验数据分析 [J].实验室研究与探索，2014，33（8）: 45-48.

[6]石祥滨，王萌，张德园，等.一种持续光流跟踪的运动目标检测方法[J].小型微型计算机系统，2014，35（3）:642-647.

[7]何烈云.帧间差分法车速测算技术误差分析与处理[J].中国人民公安大学学报:自然科学版，2014（1）:56-59.

[8]陈磊，邹北骥.基于动态阈值对称差分和背景差法的运动对象检测算法[J].计算机应用研究，2008，25（2）:488-490.

[9]田甜，乐嘉锦.基于肤色及 AdaBoost算法的改进的人脸检测方法[J].计算机应用与软件，2009，26（12）:79-81.

[10]Chai D，Ngan K N.Locating facial region of a head-andshoulders color image[C]//Automatic Face and Gesture Recognition，1998.Proceedings.Third IEEE International Conference on.IEEE，1998:124-129.

[11]李智勇，田贞.基于肤色模型的人脸检测研究[J].现代电子技术，2011，34（3）:131-133.

[12]曾龙龙.基于视频监控的实时人脸检测与跟踪算法研究[D].杭州:浙江理工大学，2012.

[13]汤欲涛，梁锐，刘畅.基于SOPC的人脸检测系统的设计[J].电子设计工程，2014（21）:165-168.

[14]王寅.基于LARK特征提取的AdaBoost人脸检测系统[J].电子科技，2014（7）:137-140.

[15]谢仪，鮑可进.智能视频监控中人脸检测的研究与实现[J].计算机测量与控制，2013（11）:2921-2923.

Study of multimedia interaction game system based on face detection technology

XI Ke，ZHOU Shan-shan，MA Xin-chun，ZHAO Wen-long
（Xinjiang Electronic Research Institute Company，Urumqi 830013，China）

To fast detecting and tracking human face in real-time video，a method based on the color and local character of face was proposed.Firstly，moving objects were extracted from the video with light compensation by frame difference method. Then skin-alike region was segmented based on skin color model established by specific distribution of Cr and Cb component in YCbCr color space.After median filter to remove noise，the non-face skin area was eliminated according to the geometric characters of face and the unique color characters of lips，and then player's face was accurate positioning in real-time video. Practical applications show that this interactive game system can fast accurate tracking the player's face，then processor marked according to whether players'face docking with falling objects by score counter，realizing the interaction effects finally.This interactive device has a huge commercial prospect，not only allowing players enjoy interaction experience without controller but also reaching the purpose of product promotion at the same time.

moving target tracking；face detection；skin model；lip detection；human-computer interaction

TP391

A

1674－6236（2016）01-0058-04

2015-04-20稿件编号：201504216

国家科技支撑项目（2013BAH29F00）；新疆维吾尔族自治区战略新兴项目；新疆乌鲁木齐高新区科技计划项目（KJJH2014023）

昔 克（1973—），女，新疆乌鲁木齐人，硕士，高级工程师。研究方向：物联网、嵌入式系统集成及应用。