基于自适应Lasso流形规整的特征提取算法研究

袁宝红,卢宇,胡婷芳

(1.安徽三联学院 电子电气工程学院,安徽 合肥,230601;2.安徽大学 教务处,安徽 合肥,230601)

随着技术的不断革新和科技的不断创新发展,大量的数据需要保存、分析和处理,在这些数据中提取有用的数据信息变得至关重要。这些数据有可能是高维数据,如果直接对这些高维的数据进行处理,则对应的工作量也就变得巨大,算法也就执行变慢,为了解决高维数据所面临的问题,随之相关的特征提取也就尤其的重要。特征提取的中心思想是对样本中的每个维度特征进行不同的加权,代表了每个特征不同的重要程度[1],这相当于是一个搜索优化问题。针对一般RGB图像的检测方法,可以使用决策树参数优化进行[2]。针对高维数据,随着数据特征维度的不断增加,特征选择提取在进行模式识别时对高维数据的预处理起着非常重要的作用[3]。提出了流形规整的主要理论是通过对高维空间中原始数据进行探索,并通过样本投射到低维空间后将数据和局部结构信息联系起来[4–7]。针对原始高维空间的特征提取,提出一种基于自适应Lasso的流形规整算法。使用自适应Lasso流形规整的特征提取方法,能克服解决多种样本的特征选择问题的缺点。多类别标签数据集的验证结果表明,通过构造降维矩阵,增加样本的低维投影解决了Lasso算法在样本维数大于样本数时,因为样本数量比较少,从而只能选择一些少量特征,并且无法解释缺少的信息的问题。

1 自适应Lasso的特征提取

Lasso是一种经典的线性折减维数方法,其通过数据点之间的欧氏距离从而构建特征矩阵进行分析,对特征矩阵进行特征分解,以获得低维空间中每个数据的低维坐标[8]。基于Lasso方法,提出了自适应最小绝对收缩和选择算子特征选择算法,该法继承了Lasso用于连续变量选择和模型参数估计的特点,克服了Lasso在某些情况下对每一个系数都进行相同的惩罚而造成相合性差和不稳定的缺点。

假设数据是(xi,yi),i=1,2,...,N,其中xi=(xi1,...,xip)T是高维空间中给定的一个输入数据集,参数i和p分别是数据数量和维数,并且yi是对应的类别标签。在通常的特征提取关系矩阵中,一般假设要观察的值是独立的,或者对于给定的值xij,所有yi都是条件独立。通过

将xij值标准化。其中,在自适应Lasso算法中,由估计量定义为

图1 自适应流形规整的示意图

2 实验结果和分析

从具有不同特征的4组监控视频中,选择关键帧进行实验。数据集如表1所示,可以看出数据的高维特点。通过特征提取,将提取出来的特征作为特征输入,为了验证自适应 Lasso模型的有效性,将其与一些相关的成熟特征选择方法进行比较。为了获得更稳定可靠的结果,将数据集分为训练数据集和测试数据集,且随机分为5次交叉验证,每个实验重复30次。

表1 数据集信息

图2为数据集的差分分析结果。曲线的趋势根据数据观察内容的变化而变化。完成模型特征提取后,对数据集进行一系列分类实验,以检测调整参数值对分类性能的影响[10]。

图2 数据集差异分析结果

在数据集上,基于与几个相关的特征提取方法对比,最终观察结果,从而验证基于流形规整的自适应Lasso的特征提取方法的分类效果较好。选择MLKNN作为分类器,以验证每种方法在多类别标签数据集上的分类精准率的变化[11]。随着训练样本特征数的不断变化,不同方法分类精准率的实验结果如图3所示。由图3可知,刚开始的特征数比较少时,随着特征数的增加,分类精准率可以保持快速增加,但是再随着特征数的增长,分类精准率变的缓慢,甚至出现了减少。主要是因为特征数开始比较少,包含的判别信息也就不够,精准率从而不高,可以随着特征数的增加而增加;为了获取高的精准率,选择了更多的特征数,但是过多的特征数,也会包含冗余的、无效的噪声特征,由于这些无用特征的存在最终造成了精准率的下降。其中,基于自适应Lasso的流形规整方法结果是图示中红色的曲线,在特征提取方面具有良好的效果,精度也有了一定的提高。

图3 不同方法分类精准率的变化

3 小结

基于自适应Lasso的流形规整特征提取方法不仅可以很好地结合自适应Lasso的优点,而且可以很好地解决原始高维空间的特征冗余提取问题。通过对几个多类别标签数据集进行的大量实验,验证了自适应Lasso的流形规整方法在处理特征提取问题和其他相关特征选择方法方面有一定的优缺点。实验结果表明,与其他同类方法相比,基于自适应Lasso的流形规整方法在原始高维空间的特征选择方面具有较好的效果,精度也有了一定的提高。