线性模型的一种新的几乎无偏两参数估计

左卫兵，胡梅

0 引言

在线性模型的参数估计中，当回归自变量间存在复共线性时，最小二乘估计不再是良好的估计，对此，统计学家们提出了有偏估计，如压缩估计、岭估计、Liu估计、主成分估计、两参数估计等[1-5]，文献[6]通过选取最优线性算子提出了一种新的有偏估计，文献[7]提出的Liu型估计通过构造岭函数得到了岭估计、Liu估计、两参数估计的一般形式。另一方面，一些统计学家从降低有偏估计离差的角度进行改进，从而引入了几乎无偏的概念，文献[8]给出了几乎无偏估计的定义和一类几乎无偏压缩估计，在此基础上，文献[9]提出了几乎无偏岭估计和广义几乎无偏岭估计,文献[10]提出了几乎无偏Liu估计和广义几乎无偏Liu估计，文献[11]提出了一种几乎无偏两参数估计，文献[12，13]对受约束条件下的几乎无偏估计做了大量研究。

本文在文献[14]提出的两参数估计的基础上，运用几乎无偏估计的思想，提出了一种新的几乎无偏两参数估计，新的估计是最小二乘估计、几乎无偏岭估计、几乎无偏Liu估计的推广，并在均方误差矩阵准则下，给出了新的估计优于最小二乘估计、几乎无偏岭估计、几乎无偏Liu估计以及文献[11]提出的几乎无偏两参数估计的充分条件。

1 新估计的提出

线性模型的一般形式为：

其中，Y是n×1可观测向量；X是n×p列满秩已知设计矩阵；β是 p×1未知参数向量；ε是n×1随机误差向量；In是n阶单位阵。

文献[14]提出了线性模型参数的一种两参数估计，其定义为：

其中，参数 k＞d＞0，β̂是模型（1）下的最小二乘估计。

结合文献[8]中几乎无偏估计的思想，本文对式（2）进行改进从而得到了一种新的几乎无偏两参数估计：

为了研究方便，引入模型（1）的典则形式：

其中 Z=XT ，α=T′β 。对于式（3），有 Z′Z=T′X′XT=Λ=diag(λ1，…，λp)。

令B1=(Λ+kI)-1(Λ+dI)，则 在 式（3）下 ，β̂、β̂T(k，d )、β̂N(k，d )的典则形式分别为：为模型（1）中 β 的新的几乎无偏两参数估计，

从新估计 α̂N(k，d )的定义可以看到：

2 新估计的优良性

引理1[4]：设 M 为半正定矩阵，则存在向量α，有M-αα′＞0⇔α′M-1α＜1。

引理2[5]：设 β̂j=Ajy，j=1，2 是 β 的两个齐次线性估示估计 β̂j的协方差矩阵。则有Δ()=MSEM(β̂1)-其中MSEM(β̂j) 和 dj分别表示 β̂j的均方误差矩阵和偏差。

根据新估计α̂N(k，d )的定义，可得其偏差，协方差和均方误差矩阵分别为：

定 理1：如 果k＞d＞0，有Bias(α ̂N(k，d ) )＜Bias(α ̂T(k，d ) )。

证明：令Sk-1=(Λ+kI)-1，Sd=(Λ+dI) ，则

由于 k＞d＞0，λ＞0，显然 || Bias(α ̂ (k，d ) )||-|Bias

iNi(α ̂ (k，d ) )||＜0，也就是说几乎无偏两参数估计α̂(k，d )相

TiN对于两参数估计α̂T(k，d )偏差有所改进。

定理2：如果k＞d＞0，几乎无偏两参数估计 α̂N(k，d)在均方误差矩阵准则下优于最小二乘估计α̂的充分必要证明：易知最小二乘估计α̂的均方误差矩阵为：

由式（9）和式（10）得估计 α̂与估计 α̂N(k，d )的均方误差矩阵之差为：

于是D1＞0当且仅当

由于k＞d＞0，k-2(λi+k )＜0 ，故 λi-λi(1-)2＞0

因此D1＞0

根据引理1，定理2得证。

定理3：如果k＞d＞0，k＞1，新估计α̂N(k，d )在均方误差矩阵准则下优于估计α̂A(d ) 的充分必要条件是b′

证明：令B2=[I + (1-d) S-1]S-1Sd，S-1=(Λ+I)-1，则α̂A(d ) =B2α̂

易得 α̂A(d)的均方误差矩阵为：

由式（9）和式（11）得估计 α̂A(d )与估计 α̂N(k，d )的均方误差矩阵之差为：

经计算得：

而：

因此D2＞0

根据引理2，定理3得证。

定理4：如果 k＞d＞0，k＞1，新估计 α̂N(k，d )在均方误差矩阵准则下优于估计α̂A(k)的一个充分条件是

证明：由于 α̂(k)=Bα̂，其中 B=I-k2S-2，则 α̂(k)

A33kA的均方误差矩阵为：

其中b3=Bias(α ̂A(k))

由式（9）和式（12）得估计 α̂A(k )与估计 α̂N(k，d )的均方误差矩阵之差为：

其中D3=Cov(α̂A(k) )-Cov(α̂N(k，d) )，b3=Bias(α̂A(k) )。

令γ=σ2/α2，则MSEM(α̂ (k) )-MSEM(α̂

iiAUTPNAUTP

当k＞d＞0，k＞1时，有2k2+d2-2kd＞1，2kd-d2＞0。

而得上式成立的一个充分条件：

定理得证。

为了方便比较，把文献[11]提出的几乎无偏两参数估计记为β̂A(k，d)，典则形式为α̂A(k，d)。

定理5：如果k＞d＞0，k＞1，新估计α̂N(k，d)在均方误差矩阵准则下优于估计α̂A(k，d) 的充分必要条件是

计算得：

于是，D4＞0当且仅当

因此D4＞0。

根据引理2，定理5得证。

3 数值模拟

为了阐述上面的理论成果，说明新的几乎无偏两参数估计在均方误差矩阵准则下的优良性，这里进行如下数据模拟，数据来源于文献[15]，该数据在多篇文献中被广泛引用：

计算可知矩阵的条件数为3.66793e+007，因此设计阵是病态的。对数据进行线性回归，可以得到X′X特征值为λ1=44676.21，λ2=5965.42，λ3=809.95，λ4=105.42，λ5=0.00123。经过简单计算，可得参数向量β、σ2的最小二乘估计分别为:

在实际应用中，参数k和d的选取是一个重要的问题。这里采用文献[16]中参数的选取方法得k̂GM=28.9913，d=0.95，计算得估计β̂，β̂A(d)，β̂A(k)，β̂A(k，d)和β̂N(k，d)的均方误差值见表1。

表1 各估计值及其均方误差值（k̂GM=28.9913、d=0.95）

从表1可以看到，新的几乎无偏两参数估计β̂N(k，d)的均方误差要小于β̂，β̂A(d)，β̂A(k)，β̂A(k，d)的均方误差，符合本文得到的结果，因此，本文提出的估计在实际应用中有很好的表现，为应用工作者提供了新的选择。

[1]Hoerl A E,Kennard R W.Ridge Regresssion:Biased Estimation for Nonorthogonal Problems[J].Technometrics,1970,12(1).

[2]Liu K.A New Class of Biased Estimate in Linear Regression[J].Commun Stat Theory Methods,1993,22(2).

[3]Özkale M R,Kaçiranlar S.The Restricted and Unrestricted Two-parameter Estimators[J].Commun Stat Theory Methods,2007,36(10).

[4]Farebrother R W.Further Results on the Mean Square Error of Ridge Regression[J].Journal of the Royal Statistical Society,1976,38(3).

[5]Trenkler G,Toutenburg H.Mean Squared Error Matrix Comparisons Between Biased Estimators—An Overview of Recent Results[J].Statistical Papers,1990,31(1).

[6]Arumairajan S,Wijekoon P.Optimal Generalized Biased Estimator in Linear Regression Model[J].Open Journal of Statistics,2015,5(5).

[7]Kurnaz F S,Akay K U.A New Liu-type Estimator[J].Statistical Papers,2015,56(2).

[8]Kadiyala K.A Class of Almost Unbiased and Efficient Estimators of Regression Coefficients[J].Economics Letters,1984,(16).

[9]Singh B,Dwivedi T D.An Almost Unbiased Ridge Estimator[J].Sankhya,1986,48(396).

[10]Akdeniz F,Kaçiranlar S.On the Almost Unbiased Generalized Liu Estimator and Unbiased Estimation of the Bias and Mse[J].Communication in Statistics-Theory and Methods,1995,24(7).

[11]常新锋.均方误差意义下几乎无偏两参数估计的优良性[J].统计与决策,2014,(19).

[12]Wu J B,Yang H.On the Stochastic Restricted Almost Unbiased Estimators in Linear Regression Model[J].Journal of Applied Statistics,2013,38(3).

[13]Wu J B.Modified Restricted Almost Unbiased Liu Estimator in Linear Regression Model[J].Communications in Statistics-Simulation and Computation,2016,45(2).

[14]薛美玉,梁飞豹.线性模型的新的两参数估计[J].福州大学学报:自然科学版,2015,43(2).

[15]Woods H,Steninour H H,Starke H R.Effect of Composition of Portland Cement on Heat Evolved During Hardening[J].Ind Eng Chem,1932,(24).

[16]Yang H,Chang X F.A New Two-parameter Estimator in Linear Regression[J].Commun Stat Theory Methods,2010,39(6).