ALBP识别方法及其在聋人视觉辅助系统中的应用

杨小义，邓新梅

(1.重庆师范大学 教育科学学院，重庆 401331;2.重庆科技学院图书馆，重庆 401331)

高新技术发展使人们工作更快捷，生活更便利，同时对一直存在于我们身边的2 000多万聋哑人弱势群体也更加关注。为使他们更好、更快地融入正常社会，消除健全人与聋哑人之间交流的障碍，聋人视觉识别研究已受到国内外越来越多的专家和学者的关注。在现有的各种聋人视觉识别方法中，处于主导地位的主要是基于数据手套和基于数字图像处理的聋人视觉识别方法。大部分研究是将两者相结合，将前者用于图像采集，而将后者用于图像的识别和处理，以期取得更好的识别效果。尽管研究已取得某些进展，但仍面临如手势不变特征提取、手势过渡模型建立等许多挑战性课题，导致手语识别率低等诸多不足。在实际应用中，环境往往比较复杂，如光照变化强烈、有遮挡物等，使环境具有较高的不确定性，从而影响识别效果，这就要求图像识别算法具有強鲁棒性以适应各种复杂环境要求［1－3］。在光照变化较为强烈时，由于目前广泛采用的LBP算法没有对图像进行预处理［4－6］，因此难以消除因光照变化强烈导致的图像非线性扭曲。本文提出的ALBP视觉识别方法可在复杂光照条件下获得比较好的人脸特征识别效果［7－9］。

1 ALBP算法的基本思想

ALBP算法的基本思想:首先找到图像的某个局部区域内最大、最小像素值，再以最大值和最小值作为上下边界，将图像中的像素对比度分成若干个区间，计算领域像素与中心像素的对比度值，再将该差值映射到已经划分好的某个区间上，以便对图像的LBP进行分区间的处理。区间就是相应对比度值的对应层次。

1.1 提取LBP特征层

设在半径为R，领域点为P的局部区域内，其对比度最大值和最小值为:

对于每个区间，对比度的取值范围为

其中:L为区间个数;用ls表示每个邻域点与中心点的对比度值的对应区间，ls可由式(3)计算得到。

为获取每个区间的ALBP特征值，需要计算有多少个点的对比度值在中心点邻域的该区间上。每个区间的ALBP特征值可由式(4)计算得到。

基于每个区间的ALBP特征值将人脸图像划分为N个局部区域，并按式(5)计算每个区域的ALBP值即可获得相应的直方图，如式(6)所示。

最后将不同区域的H连接起来，即可得到描述全局人脸多对比度层次的特征直方图。

1.2 光照归一化预处理

由上述描述可知，如要减小因光照变化产生的图像扭曲，就必须将光照变化对图像的影响控制在一定的范围之内，因此有必要对图像进行平滑处理，以减小因光照变化强烈而引起的图像对比度值的变化。由于聋人视觉识别具有综合性和多通道性的特点，相对通常的视觉识别而言，聋人视觉识别更重视人脸面部表情与手语的融合识别。因此，为了更好地进行聋人视觉识别研究，人脸面部表情的识别变得非常重要。图1是同一张人脸区域在不同光照条件下的对比度层次映射，该图像进行了配准处理，中心点代表人脸上的同一个点。3张人脸图像在中心点处得到的ALBP值是基本相同的，可见在光照有变化但不剧烈的情况下所得到的ALBP特征值是大致相同的，说明ALBP特征值不随光照的变化而变化。

图1 不同光照下人脸图像的ALBP特征值

当光照条件发生变化时，图像中各点的像素值也会发生较大的变化，在一个较小的局部区域内，各点的像素值都是同时变大或减少，但它们的差值却基本保持不变。在ALBP算法中，采用中心点像素值与邻域点像素值的差值代替原来各点的像素值，由此得到的ALBP特征值是大致相似的，较好地避免了光照变化对图像纹理产生的影响。

上述分析结果表明，在不同光照条件下，若将人脸图像进行适当的预处理，再计算图像的ALBP特征值，就可较好地消除光照变化对图像的影响，减小图像的扭曲，取得较好的图像识别结果。在对光照进行归一化预处理时，可首先用对数公式将图像转换到对数域，然后利用差分高斯滤波器(σ0=1.0，σ1=2.0)对图像进行平滑处理，最后采用式(7)对图像进行全局对比度均衡化，实现对图像的直方图均衡化处理，以得到具有较强对比度的预处理图像。

图2给出了采用上述预处理方法后得到的人脸图像。其中:在第1列图像中，由于受到光照变化强烈的影响，图像存在严重的扭曲现象;第2列是采用Log对数对图像进行转化后的结果;第3列是采用高斯滤波器平滑后的图像;第4列是对图像进行全局均衡化后的结果;第5列是对图像进行直方图均衡化后的结果。

图2 不同光照下的人脸图像预处理结果

2 实验结果及其性能分析

为验证作者提出的ALBP算法的有效性，进行了ALBP算法的仿真实验，并分析了算法的性能。实验是在ORL人脸库中进行的。在ORL人脸库中包括了40个人不同的人脸图像，每个人的人脸有10幅图像，其图像尺寸均为92像素×111像素，但却由于光照、姿态、表情等的不同而存在较大差异。在实验中，将图像分为训练集和测试集。在实验之前首先对图像进行相同的预处理:① 对原始图像进行剪切，保留最能体现人脸特征的主要区域;②将剪切后的图像作几何归一化和压缩处理，将图像尺寸变为64像素×64像素，以减少算法的计算量和节省存储空间。

实验1 考查ALBP算法与传统的LBP算法的识别率大小。

从ORL人脸库中随机选择每个人的l(0≤l≤8)张图像作为训练样本，未被选择的图像为测试样本。采用最小近邻分类器(NN)算法估算识别率，并以10次实验的平均识别率分别作为两种算法的最终识别率。表1为ALBP算法与传统LBP算法的识别率对照情况，其中，两种算法的维数均为39维。

表1 ALBP与LBP算法的识别率对照情况

表1中每个人训练的样本数为l。表1数据表明:在训练样本数目相同时，ALBP算法明显高于LBP算法的识别率，且其识别率随l的增大而增大。当每个人的训练样本数为8幅图片时，LBP算法的识别率为81.3%，而ALBP算法的识别率为85.7%。在LBP与ALBP两种算法中，其特征向量维数是相同的，因此ALPB算法在没有增加特征向量的维数的情况下具有比LBP算法更高的识别率。

实验2 考察标识数据数目对LBP与ALBP两种算法识别率的影响。

该实验的训练图像和测试图像均为200幅，即从每人的10幅图像中选择5幅作为训练图像，剩下的5幅作为测试图像，标识数据的个数分别为20，40，60，80，100，120，剩下的为无标识数据，分别采用LBP和ALBP算法对人脸进行识别。实验中仍然采用与实验1相同的最小近邻分类器(NN)算法估算识别率，并以10次实验的平均识别率分别作为两种算法的最终识别率。识别率随标识数据个数的变化情况如图3所示。

图3 识别率随标识数据个数的变化情况

分析图3可知，LBP算法的识别率受标识数据个数影响较小。当标识数据个数增大时，LBP算法的识别率只出现较小波动，在标识个数为60时，其识别率甚至低于标识个数为40时的识别率。ALBP算法的识别率虽然也会出现波动，但其总体趋势是随着标识个数的增大而增大的。当标识的数据个数为140时，LBP算法的识别率为75%，而ALBP算法的识别率为85%，比LBP算法的识别率提高了10百分点。这是因为ALBP算法有效地利用了局部数据间的类别信息，所以其识别率明显高于传统的LBP算法。

3 ALBP在聋人教学软件开发中的应用

手语和口语一样也存在地方差异问题，比如北京手语和上海手语就存在一定的差别。在高等聋人教育教学中，由于学生来自于不同的地区，即使在听障学生之间，手语表达也存在一定的差异。因此，在聋人的教育教学过程中，为了更好地在学生之间、老师与听障学生之间进行交流，以获得更好的教学效果，同时，为了适应现代聋人教育教学改革的新要求，有必要开发一套随堂教学手语辅助软件。该软件可充当同声翻译角色，使手语实时地转化为文字符号或语音信息，以弥补手语理解存在差异性与某些教师或听障学生手语理解与表达不充分的不足。

基于Win7系统，随堂教学手语辅助软件的开发和测试借助Matlab2009平台通过编程实现，其相关数据存储于mat文件中。在手语辅助软件系统中，需要用到手形库和表情库。手形库主要是根据《中国手语》中的30个汉语手指字母语和2 000多个常用词汇建立的。表情库的建立主要来源于两个方面:一是《中国手语》中常用词汇的表情;二是用传感器进行自行采用的表情。限于篇幅，本文只对采用到的人脸表情图像的处理做简要描述。

本文以选用手语“勇敢”的两幅人脸表情图像为例进行分析。这两幅图像具有不同的光照条件，因此图像中存在不同程度的扭曲。为了较好地消除光照产生的图像扭曲，系统对采集到的人脸表情图像首先进行预处理，计算图像的ALBP特征值，进行相应的表情识别;再将表情识别结果与手形识别结果进行融合识别，从而得出手语的识别结果;最后与后台手语模板进行匹配，将识别结果转化成手语信息或文字符号。图4为手语“勇敢”表情经教学手语辅助软件系统处理后的结果。从处理结果可以看出，借助ALBP算法对图像进行识别，可较好地消除复杂光照的影响，使两张在不同光照条件下的图像识别结果的视觉差异不大。

图4 手语“勇敢”表情的ALBP算法处理结果

4 结束语

测试结果表明，手语辅助软件的开发和使用可在听障人士之间、听障人士和健听人士之间搭建起一个良好沟通、交流的桥梁，经系统切换就可较好地将听障学生的手语方便地转换为健听教师或健听学生便于理解的语音信息或文字符号，也可将健听人士的语音信息转换为听障学生能理解的手语序列，从而消除教学过程中的交流障碍，提高教学效果。尽管ALBP方法还存在非线性分层准则与降维处理等问题，需要进一步研究解决，但在解决图像非线性扭曲问题方面的应用效果还是比较令人满意的。

［1］陈孟元，孙书诚，王虎.基于图像识别的寻迹智能车设计［J］.重庆理工大学学报:自然科学版，2013(3):80－84，103.

［2］赵明富，夏曦，张政委，等.基于高光谱图像技术的指纹识别研究［J］.激光杂志，2013(1):45－47.

［3］李明富，何宸，凌艳，等.图像识别技术在战斗部静爆试验分析中的应用［J］.四川兵工学报，2014(6):101－104.

［4］Topi Maenpaa，Matti Pietikainen.Texture Analysis with Local Binary Patterns［D］.Finland:Dept.of Electrical and Information Engineering，University of Oulu，2004.

［5］Guoying Zhao，Pietikainen M.Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions［J］，IEEE Trans.Pattern Analysis and Machine Intelligence，2007，29:915 －928.

［6］李志焕.改进型的LBP算法及其在运动目标检测中的应用［D］.广州:中山大学，2009.

［7］Xiaoyi Yang，Wu Qian，Qing Zhou.Method Study for Facial Character Recognition Based on Improved LBP［J］.Journal on Information ＆ Computational Science，2013，10(9):2519－2528.

［8］Xiaoyi Yang，Jianwei Li.Study on Facial Character Recognition under Complex Illumination［J］.Information Engineering and Applications，2012，100:375 －389.

［9］Wu Qian，Xiaoyi Yang，Qing Zhou.Pattern Recognition and Its Application in Fault Diagnosis of Electromechanical System［J］.Journal on Information ＆ Computational Science，2012，9(8):2221 －2228.