范数约束下半参回归模型参数估计及其性质①

代金辉

(山东工商学院数学系，山东烟台 264005)

0 引言

其中，yn×1=(y1，…，yn)是观测值向量，Xn×p是n×p设计矩阵，β是p×1未知系数向量，f是未知非参平滑项，e是独立同分布的随机向量误差项，均值为0协方差矩阵为σ2V.这里σ2已知或未知均可，V为n×n非负定阵，M为已知正常数.

对上述半参数回归模型中的非参项的估计方法，主要有样条估计、近邻估计、小波估计，核估计等.核估计是较早且较成熟的方法，但有一定的缺陷，为此 Fan 和 Gijbels[1]，Hoover等[2]提出局部多项式方法拟合非参数回归中的未知函数，能很好地弥补核估计的不足，同时保留了它的优点.笔者受此启发，文中对非参数部分进行局部线性拟合，对线性部分采用约束最小二乘法，构造出的估计量具有很好的性质.

对于半参模型在无约束情形下已有了很多结果，见文献[3～5].而参数的模长受约束的情形还未得到研究，本文首先提出了范数约束问题，并针对模型给出了参数的约束最小二乘估计，并近一步研究了该估计的一些性质如有偏性，及协方差的单调性质.考虑带非参平滑项的约束半参回归模型

1 范数约束参数估计

对模型(1)，由于V＞0，故存在唯一正定对称矩阵

(1)若S(β)的无条件极小值使得β′β≤M2，则该极小值就是所需解.

(2)若S(β)的无条件极小值使得 β′β＞M2(事实上，当设计阵病态时，总会是这种情况)，则根据β′β≤M2知，该约束极小值必在β′β=M2处取到.即β的约束估计问题转化为求解下述惩罚最小二乘问题:

则

由(4)式得到

于是

由于X′V－1X＞0，故存在正交矩阵Q，使得Q′X′V－1XQ=Λ=diag(λ1，……，λp)，其中 λi＞0，i=1，…，p由(7)式可得

可见，上述结果与通常的岭估计形式比较近似，只是这里的λ不是常数，依赖于样本，属于自适应非线性估计.借助岭估计的几何意义，限定λ＞0是合理的，λ＜0可以看成范数约束平方后的增根.(若无特别说明，都限定λ＞0)

下面给出λ的表达式.由(6)式可得

2 估计性质

引理 设A，B均为n×n阵，并且A＞0，B＞0则A－1－(A+B)－1≥0定理1E((λ))=(I－2Λ0B－1

λ)β，其中Bλ=X′V－1X+2Λ0，Λ0=diag(λ，…，λ)，从而(λ)为β的有偏估计.

证明:

E((λ))=E[(X′V－1X+2Λ0)－1X′V－1(y－f)]

=(X′V－1X+2Λ0)－1X′V－1Xβ

=(X′V－1X+2Λ0)－1[(X′V－1X+2Λ0)β－2Λ0β]=β－2Λ0(X′V－1X+2Λ0)－1β=(I－2Λ0B－1λ)β此外，易求得(λ)的协方差为即.还知在L¨owner[6]偏序意义下估计量(λ)的协方差一致优于广义最小二乘估计bGLSE的协方差，即Cov((λ))≤Cov(bGLSE)，事实上

因此

由上述限定λ＞0知显然成立.

[1]Fan J，Gijbels I.Local Polo Nominal Modeling and Its Applications.London:Chapman and Hall，1996.

[2]Hoover，D.R.，Rice，J.A.，Wu，C.o.，and Yang，L.P.Nonparametric Smoothing Estimates of Time－varying Coefficient Models with Longitudinal Data.Biometrika，1998，85，809－822.

[3]Hecman，N.(1986).Spline Smoothing in a Partly Linear Model Journal of Royal Statistic Society，Series B，48，244－248.

[4]Speckman，P.(1998).Kernel Smoothing in Partial Linear Models.Journal of Royal Statistical Society，Series B，50，413－436.

[5]Engle，R.F.，Granger，C.W.J.，Rice，J.and Weiss，A.(1986).Semiparametric Estimates of the Relation between Weather and Electricity Sales.Journal of American Statistical Association，81，310－320.

[6]王松桂，贾忠贞.矩阵论中不等式[M].安徽:安徽教育出版社，1994.