回归诊断在统计数据异常值探测中的应用

王怀亮

（菏泽学院，山东 菏泽 274015）

［经济管理］

回归诊断在统计数据异常值探测中的应用

王怀亮

（菏泽学院，山东 菏泽 274015）

近年来有关异常值的理论探讨一直是个热点问题，从回归模型诊断的角度对统计数据中的异常值进行探测与分析，并在基于R语言的基础上，结合具体实例，给出回归诊断在统计数据异常值探测中的应用。

回归诊断;R;异常值

异常值是指一批数据中有部分数据与整体中其他数据相比存在明显不一致，也称为异常数据，或称离群值。异常值的出现可能是由于记录错误引起的，也可能由于该数据值不属于这个数据集，或者本来就是如此，需要进一步的调查。异常值是影响统计数据质量的一个非常重要的因素，近年来有关异常值的理论探讨一直是个热点问题;目前研究的重点一直放在统计法律制度的健全以及统计工作程序完善等方面。笔者更关注的则是统计数据的误差问题，即所提供的统计数据与客观的社会经济现象实际的数量特征之间的差距问题。异常值的存在，使得统计分析的误差大大增大。因此，在利用已得数据进行统计分析之前，必须对异常值进行探测和检验，从回归模型诊断的角度探测与分析统计数据中的异常值进行。

在统计软件方面，常用的统计软件有 SPSS、SAS、STAT、R、S－PLUS等。R软件是一个自由、免费、开源的软件，是一个具有强大统计分析功能和优秀统计制图功能的统计软件，现已是国内外众多统计学者喜爱的数据分析工具。本文结合实例介绍了R软件在对统计数据异常值探测中的应用。

一、回归诊断理论

1.残差

设线性回归模型为:Y=Xβ+ε

其中Y是由响应变量构成的n维向量，X是n×（P+1)阶设计矩阵，β是p+1维向量，ε是n维误差向量。

一般来说，在模型恰当的情况下，所计算的残差应该比较小，各个样本点计算的对应的残差也较小，如果某个点计算的残差值较大，说明该点可能是异常值点。

2.Cook统计量

Cook在1977年提出了Cook统计量，Cook统计量定义为:

（i)为删除第i个样本数据后，由余下的n－1个样本数据求的回归系数的估计值。直观上，Cook统计量Di越大的点，越可能是异常值点，在应用上要视具体问题的实际情况而定。

二、基于R语言的回归诊断异常值检验程序

1.基于R语言的残差计算程序

三、应用举例

根据表1分析居住支出与工资收入的关系，并分析异常值点。

表1 2008年山东省部分地市城镇居民平均全年工资收入和居住支出情况表 单位:元

数据来源:2009年山东统计年鉴。

经初步分析，可以建立以平均工资为自变量，居住支出为因变量的简单线性回归模型，并且该模型通过t检验和F检验，模型方程为

其残差图和Cook距离图如下:

图1

图2

图3

图4

图1是残差散点图，从图形上看，第2号样本点明显偏离其他的样本点;图2是标准化残差绝对值的开方的残差图，第2号样本点标准化残差的开方大于1.5，说明第2号样本点在95%的范围以外;图3表示的是Cook距离，第2号样本点的值最大，说明第2号样本点可能是异常值点;图4给出了回归直线和样本点的散点图，第2号样本点明显偏上。综上分析，青岛市居民2008年平均工资收入和居民居住支出相对于该模型为异常值点，具体情况需做相关调查。

［1］王松贵，张忠占，程维虎，高旅端．概率论与数理统计［M］．北京:科学出版社，2007．

［2］汤银才．R语言与统计分析［M］．北京:高等教育出版社，2008．

［3］薛毅，陈立萍．统计建模与R软件［M］．北京:清华大学出版社，2009.

（责任编辑:刘润婉)

C82

A

1002－2880（2011)02－0118－02

王怀亮（1981－)，男，汉族，山东曹县人，菏泽学院经济系助教，硕士，研究方向:计量经济统计分析。

2010年山东省统计科研重点课题《统计数据质量评价方法研究》（基金项目号:KT1089)。