基于半参数回归模型的最小一乘局部线性算法

苏正军,刘迎照

(洛阳师范学院数学科学学院,河南洛阳 471022)

基于半参数回归模型的最小一乘局部线性算法

苏正军,刘迎照

(洛阳师范学院数学科学学院,河南洛阳 471022)

根据最小一乘准则,推导出最小一乘局部线性估计的计算方法,并通过对模拟数据的计算和分析,对比最小一乘核算法和最小二乘局部线性算法,验证了最小一乘局部线性算法是一种有效的,稳健的估计方法,并且有降低边界效应的作用.

半参数回归模型;最小一乘;局部线性估计;算法;稳健性

1 引言

考虑半参数回归模型[1]:

其中,Xi是p维随机变量,β为p维待估参数,g(·)为R1上未知的Borel函数,{ui}是独立同分布的随机误差序列,且E(ui)=0,0＜＜∞.半参数回归模型的估计问题就是基于(Yi,Xi,Ti)估计β和g.

目前,对于半参数回归模型的估计算法有两种思路:一种是对非参数部分加以光滑限制,使用合理的参数逼近,即将非参数部分参数化;另外一种是分别对参数和非参数部分进行估计的两阶段估计方法.可以先假定参数已知,使用标准的非参数方法估计非参数部分,然后去掉非参数部分,再使用标准的参数方法估计参数部分.

对于参数部分的估计,多数估计方法选择最小二乘准则,如最小二乘核估计,最小二乘k近邻估计,最小二乘局部线性估计等.但是最小二乘估计受异常点的影响较大,而最小一乘准则要小很多,最小一乘准则的稳健性比最小二乘准则好[2],在经常出现异常值的现实数据处理上,使用最小一乘准则拟合效果会更好一些.

本文将基于最小一乘准则的局部线性拟合的方法应用于半参数回归模型.对非参数部分进行局部线性拟合,对线性部分采用最小一乘估计.通过对模拟数据的计算和分析,将此方法的拟合效果与最小一乘核算法和最小二乘局部线性算法作对比,验证最小一乘局部线性算法的有效性和稳健性.

2 基本原理和方法

2.1 最小一乘

最小二乘估计得到广泛应用的一个重要原因是计算简单,它的极小值求解可以通过简单的公式表达出来.而最小一乘估计的极值求解是不可微的优化问题,计算复杂.文献[2]分情况讨论了最小一乘估计的算法,文献[3]研究了基于模拟退火算法的最小一乘回归算法,这些都为我们通过M atlab软件计算最小一乘估计提供了可能.因此,在本文中采取最小一乘估计方法对参数部分进行估计.

2.2 局部多项式估计

虽然核估计算法实现了局部加权,但是权重在局部邻域内是常量,由于加权是基于整个样本点的,所以在边界处的估计往往不理想.常用的解决方法是用一个变动的函数取代局部固定的权重.就是在待估点t的邻域内用一个线性函数g(Ti)=a+bTi,Ti∈[t-hn,t+hn]取代g(Ti)的平均,其中a和b是两个局部参数,进而得到了局部线性估计算法.

在内点,使ˆg(t,hn)的均方误差达到最小的最优核函数是:K(t)=0.75(1-t2)+,此时局部线性估计的收敛速度O(n-2/5)(见文献[4]).局部线性估计避免了通常核估计的边界效应问题.并且已被证明无论在边界点还是内点都是最佳线性估计[5],因此,在本文中采取局部线性回归方法对非参数部分进行估计.

2.3 最小一乘局部线性算法

3 模拟验证

可见参数β=1,非参数部分g(t)=1+cos(8t+5),图1为g(t)的真实曲线图.

选择Enanechnikov(抛物核)K(u)=0.75(1-u2)+,这是因为它是在内点,使得均方误差达到最小的最优核函数.

图1 (8)式中的g(t)真实曲线图

3.1 窗宽选取对拟合效果的影响

窗宽可以反映光滑程度,降低拟和曲线在峰顶区域的偏差以及尾部区域的方差,提高拟合曲线的灵活性[7].使得均方误差达到最小的最佳窗宽为hn=,其中c与n无关,只与回归函数,解释变量的密度函数和核函数有关[4].关于最优窗宽的选取,一般的方法是由对渐近加权积分均方误差W ISE极小化而得到.窗宽的选取问题,在文献[5]中有详细的讨论,在本文中不对此问题加以研究,只是将最小一乘局部线性拟合方法与变窗宽思想结合,所得估计继承了二者的优点,hn初始窗宽的理论值最优窗宽可以通过交错鉴定法获得[6].

使用交错鉴定法确定的最优窗宽近似为hn=(n=300),在此选取c=0. 1;c=0. 3; c=0.9,通过模拟数据,分析窗宽的选取对拟合效果的影响.分别采用最小一乘准则和最小二乘准则分别进行5次模拟,并比较βˆ和真实β=1的平均绝对误差.结果如表1:通过表1数据可以看出,随着c的增大,βˆ的平均绝对偏差也增大,说明窗宽越大,拟合误差越大.

当c=0.1时,窗宽过小,标准差虽小,但是拟合曲线缺乏光滑性,是没有意义的估计,拟合效果图见图2a;当c=0.9时,窗宽过大,拟合曲线虽然光滑,但是却以增大标准差为代价,拟合效果变差,拟合效果图见图2b.由此可见,在半参数线性回归模型中窗宽的变化不但影响β的估计精度,而且影响曲线的拟合精度,所以选择最优窗宽是必须的.

图2 窗宽过小和窗宽过大的拟合效果图,(T,Y-Xβ)的散点图和g(t)拟合曲线

当c=0.3,不论采用最小一乘局部线性估计,还是最小二乘局部线性估计,估计值与真实值的平均绝对误差都很小,估计效果都很理想,可见最小一乘局部线性估计是一种对半参数回归模型有效的估计方法.拟合效果见图3.

3.2 降低边界效应

对比最小一乘局部线性算法和最小一乘核算法[8-9]的拟合图,验证最小一乘局部线性算法有效的降低了边界效应.最小一乘核算法的拟合曲线左边和右边的边界点处有高估的现象(见图4),g(t)曲线的真实走向(见图1)有很大的线性倾斜,最小一乘局部线性估计很好的拟合出了这一趋势,有效的降低了边界效应.

图3 c=0.3时,最小一乘局部线性估计和最小二乘局部线性估计拟合效果图

图4 最小一乘局部线性估计和最小一乘核估计拟合图,(T,Y-Xβ)的散点图和g(t)拟合曲线

3.3 最小一乘局部线性算法的稳健性

分别从伸缩和平移两种情况,引入两个异常值y1=10y1和y2=y2+5,当c=0.3时对数据进行5次模拟,并比较ˆβ和真实β=1的平均绝对误差.结果如表2:

表2 引入异常值前后,5次模拟结果

由上表可以看出,在引进异常值之前,最小二乘局部线性算法和最小一乘局部线性算法的平均绝对误差都很小,引进异常值后,两种估计方法的平均绝对误差都有增加,但是最小一乘局部线性算法的增加值仅为0.000 32,最小二乘局部线性算法平均绝对误差增加值为0.026 38,引入异常值前后最小二乘局部线性算法的估计偏差比最小一乘局部线性算法的估计偏差大,由此说明最小一乘局部线性算法的稳健性.

引进异常值前最小一乘局部线性算法与最小二乘局部线性算法的拟合图见图5a,它们拟合曲线基本重合,与g(t)的真实曲线(见图1)走势趋向非常相近,进一步验证了最小一乘局部线性算法的有效性.引进异常值后最小一乘局部线性算法与最小二乘局部线性算法的拟合图见图5b,由图5可以看出,最小二乘局部线性算法拟合曲线变化较大,而最小一乘局部线性算法拟合曲线变化相对很小,从而进一步验证了最小一乘局部线性算法对异常值处理的稳健性.

图5 引进异常值前后,最小二乘局部线性估计和最小一乘局部线性估计拟合图, (T,Y-Xβ)的散点图和g(t)拟合曲线

4 结束语

本文提出的半参数回归模型的最小一乘局部线性算法,经模拟数据验证其在模型拟合上非常理想;通过与最小一乘核算法比较,验证了最小一乘局部线性估计在降低边界效应的优势;通过对异常数据的分析,验证了最小一乘局部线性算法比最小二乘局部线性算法表现的更加稳健.

[1]柴根象,孙平,蒋泽云.半参数回归模型的二阶段估计[J].应用数学学报,1995,18(3):353-363

[2]陈希孺.最小一乘线性回归(上)[J].数理统计与管理,1989(5):48-55.

[3]王福昌,张宝雷,曹慧荣.基于模拟退火算法的最小一乘回归新算法[J].数理统计与管理,2008,27(6):1047-1052.

[4]王星.非参数统计[M].北京:清华大学出版社,2009.

[5]Fan J,Gijbels I.Local Polonom inal Modeling and Its App lications[M].London:Chapman and Hall,1996.

[6]樊明智,王芬玲,郭辉.纵向数据半参数回归模型的最小二乘局部线性估计[J].数理统计与管理,2006,25(2): 170-174.

[7]叶阿忠.非参数计量经济学[M].天津:南开大学出版社,2003.

[8]吕书龙,刘文丽.最小一乘估计快速算法[J].应用概率统计,2008,24(6):621-630.

[9]吕书龙,梁飞豹,刘文丽.半参数线性回归模型的最小一乘核估计[J].福州大学学报,2011,39(2):187-191.

Least abso lu te dev iation local linear a lgorithm based on sem iparam eteric regression m odel

Su Zhengjun,Liu Yingzhao

(School of M athematics Science,Luoyang Normal University,Luoyang 471022,China)

Based on the least absolute deviation estimation,local linear least absolute deviation algorithm is derived.The ef ectiveness and robustness of our method are verif ed by simu lation com pared w ith the least absolute deviation kernel algorithm and local linear least squares algorithm.Themodel can also reduce the boundary ef ect.

sem iparam etric regression m odel,least absolute deviation,local linear estim ation, algorithm,robustness

O242.1

A

1008-5513(2013)05-0513-07 DO I：10.3969/j.issn.1008-5513.2013.05.011

2013-06-01.

河南省基础与前沿技术研究计划项目(102300410216).

苏正军(1954-),讲师,研究方向：基础数学及应用.

2010 MSC:03C65