齐次等式约束线性回归模型回归系数的综合条件岭估计

农秀丽

(广西民族师范学院数学与计算机科学系,中国 崇左 532200)

考察齐次等式约束的线性回归模型

(Ⅰ)

Y=Xβ+e,E(e)=0,Cov(e)=σ2In

(Ⅱ)

提出了一种新的有偏估计即综合岭估计,讨论了综合岭估计的优良性、可容许性等性质,给出了其迭代解和极小化均方误差的无偏估计解,并得出模型(Ⅱ)的岭估计和根方估计[5-8]是综合岭估计的特例,从而统一了岭估计和根方估计的理论.多年来，许多学者对特征值和线性模型估计感兴趣，取得了一些成果[9-13].本文对齐次等式约束线性回归模型进行研究,称提出的估计为综合条件岭估计,讨论其优良性、可容许性等性质，以及其迭代解和极小化均方误差的无偏估计解,其样本总方差、均方误差、均方误差矩阵与约束最小二乘估计的相应误差的大小关系等.

1 综合条件岭估计的定义及性质

其中F(K)=diag(f1(k1),f2(k2),…,fp(kp)),fi(ki)≥0,i=1,2,…,p,K=(k1,k2,…,kp)′为岭参数向量,Q为p阶正交矩阵,W=S-1-S-1R′[RS-1R′]-1RS-1.

先给出以下引理.

引理1在模型(Ⅰ)下,W′=W,WSW=W,WSW′=W，其中W=S-1-S-1R′(RS-1R′)-1RS-1.

证因为X为n×p矩阵,又S=X′X,所以S是对称矩阵,因此,S′=S,(S-1)′=S-1,从而

W′=[S-1-S-1R′(RS-1R′)-1RS-1]′=S-1-S-1R′(RS-1R′)-1RS-1=W.

WSW′=WSW=[S-1-S-1R′(RS-1R′)-1RS-1]S[S-1-S-1R′(RS-1R′)-1RS-1]=

[I-S-1R′(RS-1R′)-1R][S-1-S-1R′(RS-1R′)-1RS-1]=

S-1-2S-1R′(RS-1R′)-1RS-1+S-1R′(RS-1R′)-1RS-1R′(RS-1R′)-1RS-1=

S-1-2S-1R′(RS-1R′)-1RS-1+S-1R′(RS-1R′)-1RS-1=

S-1-S-1R′(RS-1R′)-1RS-1=W.

引理2[1]在模型(Ⅰ)下,W为半正定矩阵,且W的秩为p-q.

引理4[1]在模型(Ⅰ)下,令α=Q′β=(α1,α2,…,αp)′,则αp-q+1=αp-q+2=…=αp=0,

引理5[2]在模型(Ⅰ)下,设A与C分别为m×n,n×p的常数矩阵,若Cβ条件可估,则AY是线性估计类可容许估计的充要条件为

证由F(K)=diag(f1(k1),f2(k2),…,fp(kp)),有(QF(K)Q′W+I)-1是对称矩阵,又W是对称矩阵,因此,(QF(K)Q′W+I)-1W=W(QF(K)Q′W+I)-1.且

RW=R[S-1-S-1R′(RS-1R′)-1RS-1]=RS-1-RS-1R′(RS-1R′)-1RS-1]=RS-1-RS-1=0.

证因为

Q′WQQ′(QF(K)Q′W+I)-1X′Y=ΛQ′(QF(K)Q′W+I)-1X′Y

下面引入模型(Ⅰ)的典型形式

其中Z=XQ,α=Q′β,L=RQ,从而Z′Z=Q′(X′X)Q=Q′SQ.因此,α的RLSE是

((Q′SQ)-1-(Q′SQ)-1Q′R′(RQ(Q′SQ)-1Q′R′)-1RQ(Q′SQ)-1)Z′Y=

(Q′S-1Q-Q′S-1R′(RS-1R′)-1RS-1Q)Z′Y=Q′(S-1-S-1R′(RS-1R′)-1RS-1)QZ′Y=

Q′WQZ′Y=ΛZ′Y.

从而

2 主要结论

证由于

((QF(K)Q′W+I)-1WX′Cov(Y)XW′((QF(K)Q′W+I)-1)′)=

σ2((QF(K)Q′W+I)-1WSW′(QF(K)Q′W+I)-1)=

σ2((QF(K)Q′W+I)-1W(QF(K)Q′W+I)-1).

因此

σ2(QF(K)Q′W+I)-1((QF(K)Q′W+I)W(QF(K)Q′W+I)(QF(K)Q′W+I)-1)-

σ2((QF(K)Q′W+I)-1W(QF(K)Q′W+I)-1)=

σ2(QF(K)Q′W+I)-1((QF(K)Q′W+I)W(QF(K)Q′W+I)-W)(QF(K)Q′W+I)-1=

σ2(QF(K)Q′W+I)-1((QF(K)ΛQ′)W(QΛF(K)Q′)+2QΛF(K)ΛQ′)(QF(K)Q′W+I)-1.

σ2tr((F(K)Λ+I)-1Λ(F(K)Λ+I)-1)+(F(K)Λ+I)-1α-α2=

证因为

σ2(QF(K)Q′W+I)-1W(QF(K)Q′W+I)-1+((QF(K)Q′W+I)-1β-β)×

((QF(K)Q′W+I)-1β-β)′=σ2(QF(K)Q′W+I)-1W(QF(K)Q′W+I)-1+

((QF(K)Q′W+I)-1-I)ββ′((QF(K)Q′W+I)-1-I)′=

σ2(QF(K)Q′W+I)-1W(QF(K)Q′W+I)-1+((QF(K)Q′W+I)-1-

(QF(K)Q′W+I)-1(QF(K)Q′W+I))ββ′((QF(K)Q′W+I)-1-

(QF(K)Q′W+I)-1(QF(K)Q′W+I))′=σ2(QF(K)Q′W+I)-1W(QF(K)Q′W+I)-1+

(QF(K)Q′W+I)-1QF(K)Q′Wββ′WQF(K)Q′(QF(K)Q′W+I)-1.

所以

(QF(K)Q′W+I)-1(σ2(QF(K)Q′W+I)W(QF(K)Q′W+I)-σ2W-

QF(K)Q′Wββ′WQF(K)Q′)(QF(K)Q′W+I)-1=(QF(K)Q′W+

I)-1(σ2(QF(K)Q′W2QF(K)Q′W+QF(K)Q′W2+WQF(K)Q′W+W)-σ2W-

QF(K)Q′Wββ′WQF(K)Q′)(QF(K)Q′W+I)-1=(QF(K)Q′W+I)-1(σ2(QF(K)Q′)2W3+

2σ2QF(K)Q′W2-QF(K)Q′Wβ(QF(K)Q′Wβ)′)(QF(K)Q′W+I)-1.

σ2(QF(K)Q′)2W3+2σ2QF(K)Q′W2-QF(K)Q′Wβ(QF(K)Q′Wβ)′≥0.

证令A=(QF(K)Q′W+I)-1WX′,C=(QF(K)Q′W+I)-1,根据引理6得

(QF(K)Q′W+I)-1WX′X(X′X)-1-(QF(K)Q′W+I)-1WX′XW(QF(K)Q′W+I)-1=

(QF(K)Q′W+I)-1((QF(K)Q′W+I)W-W)(QF(K)Q′W+I)-1=

(QF(K)Q′W+I)-1QF(K)Q′W2(QF(K)Q′W+I)-1≥0.

由于K的最优值与未知参数σ2和αi有关,以下讨论综合条件岭估计的迭代解.

故

下面求ki,使L达到最小.由此将L对ki求偏导,得

因只考虑fi(ki)≠0的情况,故

由F(K)的任意性,综合条件岭估计给出了一大类估计.下面讨论两个特例.

参考文献：

[1] 史建红．约束线性模型下回归系数的条件根方估计[J]．沈阳师范学院学报,1999,15(4):13-19．

[2] 史建红．约束线性回归模型回归系数的条件岭型估计[J]．山西师范大学学报：自然科学版,2001,15(4):10-16．

[3] 农秀丽,彭展声．约束线性回归模型回归系数的广义条件岭估计[J]．湘南学院学报：自然科学版,2008,29(5):28-30．

[4] 林 路．回归系数的综合岭估计[J]．数理统计与应用概率,1996,11(3):179-184．

[5] 夏结来,郭祖超,胡 琳．回归系数根方有偏估计及其应用[J]．数理统计与应用概率,1988,3(1):21-30．

[6] 归庆明．回归系数的广义根方估计[J]．工程数学学报,1993,10(2):91-99．

[7] 夏结来,郭祖超,胡 琳．回归系数的广义根方估计及其模拟[J]．应用数学,1994,7(2):187-192．

[8] 陈希儒，王松贵．近代回归分析[M]．合肥：安徽教育出版社,1987．

[9] 詹金龙,陈建宝．带约束的回归系数的线性估计的可容许性[J]．高校应用数学学报,1991,6(1):20-30．

[10] 刘能东,张忠志．广义自反矩阵与广义反自反矩阵的广义逆特征值问题[J]．湖南师范大学自然科学学报,2011,34(4):1-6．

[11] 鹿长余．线性模型中参数估计的可容许理论[J]．应用概率统计，2001，17(2)：203-212．

[12] 尤进红，顾 娟．回归系数的局部根方有偏估计[J]．工程数学学报,1998,15(2):34-38．

[13] 汪 静，孔凡惠．有约束的线性模型下的最小二乘估计与最佳线性无偏估计的比较[J]．暨南大学学报：自然科学版,1999，20(3)：17-22．