表情分析中嘴形的计算机识别方法研究

陆 玉，张 华

(阜阳职业技术学院，安徽 阜阳 236031)

大量实践研究证明，人的心理状态以及情绪往往可以通过脸部表情展现出来[1]。尤其在自然状态下，人的脸部表情往往高度真实地反应了人的内心世界，表情分析具备非常突出的心理研究价值。同时，从情绪测量的角度上来看，以脸部表情分析为工具评价人的情绪状态具有非接触性测量的特点，对于被测试对象而言，心理压力较小，往往能够获得更为精确的测定结果。在脸部表情分析中，又以嘴形分析所得到的结果最为直接与精准，权重最大且变化量最大，但由于其形态多样、复杂，边界不明确，因而在计算机识别中存在一定的难度[2]。基于此，拟针对一种嘴形计算机识别方法进行探讨。

1 嘴形模型

图1 六曲线嘴部形态模型效果图

对所提取脸部图像进行定位、正则旋转、以及规格化缩放等基础处理后，确定脸部各个部件所对应区域，然后给出六曲线嘴部形态模型，效果图如图1所示。结合图1，定义规则如下：LA为上唇外线，LB为上唇内线，LC为下唇内线，LD为下唇外线，LE为左侧嘴角线，LF为右侧嘴角线。在此基础之上以LA与LD、LA与LF、LA与LE为基准建立各条曲线所对应的预定义坐标系，并对LB、LC、LD、LE、以及LF曲线进行多项式拟合处理。

2 计算机识别

2.1 均衡亮度

将嘴部区域图像红层、绿层、蓝层图像矩阵分别定义为R、G、B，矩阵当中分别含有r、g、b元素，同时有rm=max{R}，则可以对各层矩阵进行强度变化处理，生成与之相对应的R′、G′、B′矩阵，该矩阵中所对应的元素分别表示如下式(1)～(3)所示：

r′(i,j)=rm

(1)

g′(r,j)=rm*g(i,j)/r(i,j)

(2)

b′(r,j)=rm*b(i,j)/r(i,j)

(3)

均衡亮度算法基于最大R值对矩阵强度进行调整，操作简单快捷，经算法处理后能够使图像左右两侧强度达到基本均衡的状态。

2.2 二值化

在对嘴唇部位像素进行处理的过程中，B值多数情况下高于G值，这一特征与HSV色彩表达方式是相互契合的。因此，在针对彩色图像进行灰度处理以及二值化加工的过程当中，可以尝试融合HSV表述方法[3]。将灰度图像定义为Y，阈值为t，经加工处理后二值化图像定义为BW，临时灰度图像分别表述为y1，y2，嘴唇部位图像宽度定义为W，图像高度定义为H，则可得到有关临时灰度图像的关系式，如下式(4)～(6)所示：

y1(i,j)=2g′(i,j)-b′(i,g)

(4)

(5)

(6)

在此基础之上，以方差为目标，通过图像增强以及类间方差最大分割处理的方式，以阈值t为基础，对所上每一步步骤中所生成灰度图像进行二值化处理，定义bw(i，j)可以用下式(7)进行表示：

bw(i,j)={1 (y(i,j)≥t)

0 (y(i,j)

(7)

2.3 唇部外形轮廓初定

对前一步骤中经过二值化处理的灰度图像进行八方向连通性检测，将最大联通区域边缘设置为唇形外轮廓初定值。在此过程中，将八方向联通区域像素集合设定为Si，有Si(i=1,2，…，n)，同时联通集合中元素个数被定义为Ni，有Ni(i=1,2，…，n)，同时假设Nj>Ni，同时满足(i=1,2，…，n，i≠j)。在此基础之上可以赋予上唇外线以及下唇外线初值，此过程可以用下式(8)～(9)描述：

1ai=INF(1,2,…,W)

(8)

1di=-INF(1,2,…,W)

(9)

2.4 上唇外线精细化

在初步设定唇部外形轮廓后，可以将肤色值设定为新阈值，并对灰度图像进行再次二值化处理，以达到精细化上唇外线轮廓的目的。将新阈值设定为t′(t′=(ts+tl)/2)，上唇肤色均值用ts描述，唇色均值用tl描述，则可以按照下式(10)～(11)进行处理：

(10)

(11)

上唇外线适用于本方法进行精细化处理。但对于下唇外线，考虑到嘴唇下方阴影区域面积较大，阴影部分灰阶与嘴唇灰阶相接近，因此不适用于本方法，还需通过其他措施进行精细化处理。

2.5 牙齿包络处理

在嘴部轮廓处理以及特征提取的过程当中，若存在牙齿组织，则提取难度是比较低的[4]。通常可以对图像进行求反处理，将直方图第一峰值作为阈值，对灰度图像进行二值化处理，然后通过检查八方向连通性关系的方式，生成与该连通区域所对应的像素集合，并将其定义为Si，有Si(i=1,2，...，n)，同时联通集合中元素个数被定义为Ni，有Ni(i=1,2，...，n)。在求牙齿像素集合的过程当中，分析是否存在某个特定区域(将该区域假定为Sk)满足Ni≥W*H/200，同时在区域Sk当中存在四个点位，分别将其定义为(x1，y1)、(x2，y2)、(x3、y3)、(x4、y4)，在确认符合如下式(12)所示关系的情况下，可将该区域Sk定义为牙齿像素集合区域，即完成对牙齿包络的处理[5]。在此环节中需要特别注意的一点是，在嘴部轮廓处理过程当中，牙齿上、下包络线不一定呈连续性状态，且不一定为嘴唇内线，可能因含牙龈区域而对轮廓提取效果产生一定影响。

x1≤ii,x2≥ii,y3≤ji,y4≤ji(∀(ii,ji)∈Sk)

(12)

2.6 嘴唇内轮廓线确定

(13)

2.7 下唇外线精细化处理

考虑到嘴唇下部阴影区域较大的特殊情况，若按照上唇外线精化方法直接对肤色阈值进行设定预处理，容易将下方阴影区域一并纳入下唇分析范畴中，因此需要对精细化处理方法进行改进。在对下唇内轮廓线进行提取的基础之上，假定下唇内线与下唇外线间存在一条竖直状态剖线且过点xb，并且对该竖直线做ε个像素的延长处理，同时假定对于该竖直线而言，含像素点n个，则按照灰度处理的原则，可以将其序列集描述为{pmi}，同时有i=1，2，…，n。在此基础之上对该垂直剖线进行平滑处理，将垂直剖线最后一个强度低谷后的最大梯度位置设定为下唇内轮廓线点。

2.8 嘴角线

在此基础之上，分别对上唇内线、下唇内线以及下唇外线进行多项式曲线拟合处理，将下唇内线与下唇外线相交位置外侧唇线设置为左右两侧嘴角线，同时以交点中间部分为下唇宽度。考虑到嘴角线对图像提取结果的影响，第一次曲线拟合处理所生成下唇宽度可能存在一定误差，因此可以通过反复多次操作的方式将宽度内部值作为最终生成结果，确保最终结果逼近稳定状态，最终识别结果如下图(见图2)所示。

图2 嘴角线识别结果示意图

3 结语

本文上述分析中尝试提出了一种基于六曲线嘴唇形态模型的计算机识别方法，分别从均衡亮度、二值化、唇部外形轮廓初定、上唇外线精细化、牙齿包络处理、嘴唇内轮廓线确定、下唇外线精细化处理、以及嘴角线处理等这几个方向入手，对表情分析中嘴形的计算机识别方法及其操作步骤进行逐一分析与研究，所构建模型、各曲线提取方法对不同嘴形可表现出良好的鲁棒性，唇形曲线识别结果基本与人工视觉理解结果一致，多项式曲线将单纯的嘴形图像转变为多项式系数值以及曲线长度值，实现了对特征的提取与量化。同时，通过上述处理所提取特征参数不但能够准确反映嘴形开闭程度，嘴角趋向，还能够从上下唇空间比，高宽比等多个方面入手准确描述嘴形状态，为表情分析提供可靠且全面的数据支持，值得引起业内人士的关注与重视。