基于视图间鉴别相关性分析的手语图像识别

蓝敏

摘要：典型相关性分析及其改进方法（canonical Correlation Analysis，CCA）是被广泛运用于多视图特征学习的技术，但目前普遍存在的相关性分析方法并没有有效利用视图间信息，忽视了隐藏在图像内部的鉴别相关性。为了解决这一问题，提出基于视图间鉴别相关性分析（Between-View Discfiminant Correlation Analysis，BVDCA）的手语图像识别算法。BVDCA在不同视图间最大化类内相关性信息，最小化类间相关性信息，从而可以达到鉴别分类的目的。进一步地，考虑到手语图像包含大量的非线性特征，提出基于核化的视图间鉴别相关性分析（Kernel Between-View Discriminant Correlation Analysis，KBVDCA），以解决线性不可分的目的。在手语图像数据集的实验结果验证了二者的有效性。

关键词：手语识别;多视图;相关性分析;鉴别分析;非线性特征

中图分类号：TP391 文献标识码：A

文章编号：1009-3044（2020）15-0019-03

1引言

最近的十几年来，信息技术的不断发展和数据呈爆炸式的增长使得我们能够对客观事物或个体进行多方面的阐述，从而产生了多视图数据。多视图数据及其相关的研究算法为生物特征识别（掌纹识别、手语识别等）技术提供了契机。例如：在手语图像识别过程中，可以提取用于手语的多视图信息（方向梯度直方图特征，局部二值模式特征和主成分分析特征等）来进行手语辨析。

多视图学习技术是目前的研究热点，它通过提取出不同的视图内数据特征之间的关联、互补关系，以达到改善图像分类识别的性能。例如，典型相关性分析（canonical CorrelationAnalysis，CCA）[31技术通过挖掘不同视图间的关联关系，并向低维空间做投影，最终通过相似度计算实现图像分类。集成典型相关分析则通过计算不同视图数据之间的相关系数来作为分类的依据。这两种方法都没有利用到视图数据的标签，属于无监督学习方法。此外，文献从最小化类间信息和最大化类内信息的角度出发，提出了鉴别典型相关性分析方法用于图像分类。还有，文献[12]考虑到多视图数据在线性不可分条件下大多数算法无法取得较好效果这一情况，提出了一种核典型鉴别相关性分析（Kernelized Discriminative Canonical Correla-lion Analysis，KDCCA）方法，有效地提高了图像分类方法的鲁棒性。

然而总的来看，传统的方法还有不足之处：1）现有的多视图方法只能处理二视图的情形，局限性较大;2）在多视图学习的方法中，可以尝试同时进行视图间的鉴别相关性分析，这种相关性分析并不直接关注视图之间的类内散度和类间散度信息，而是从信息冗余的程度来考虑视图的多样性给分类带来的优势。

鉴于此，本文提出了一种改进的多视图鉴别相关性分析方法BVDCA，BVDCA试图在视图间最大化类内相关性信息，同时最小化类间相关性信息，从而达到提升分类效果的目的。

2视图间鉴别相关性分析

为了便于描述，首先给出以下定义，如表1所示。

3实验与分析

文中采用手语数据图像集进行实验，验证并分析本文算法的有效性。选取的对比算法有：LDA、MCC和MVDA。本文选择的分类器统一为最近邻分类器。

我们选取包含了750，0多张图像的手语数据库（包含了5种采集角度，N=5）进行仿真实验，该子集包含了5种采集角度来获取图像，即N=5，有5个视图。每幅图像统一被预处理成64×64像素。图1为手语图像示意图。

本文一共做了20次隨机实验。在每次实验中，我们任意选择80%的数据集作为训练数据，余下的20%数据集作为测试数据。取20次实验结果的均值作为最终结果。得到不同算法的识别率如图2所示。可以看到，本文方法的识别率始终要优于LDA、MCCA和MVDA等算法。

4结束语

多视图学习方法能够挖掘出手语图像中潜在的隐性信息，因此可以更好地改善分类效果。本文提出一种针对多视图学习的手语图像识别算法BVDCA，它通过使视图之间的类内相关性最大，类间相关性最小从而达到提升分类效果的目的。进一步地为了解决目前普遍存在的手语图像在线性条件下不可分的问题，提出了核化的BVDCA，即KBVDCA，将手语样本映射至高维空间达到可分的目的。现实中的多视图数据大量存在并不仅限于手语图像，后续工作将围绕更为广义的数据进行研究。