一种负荷预测模型预测能力的评价标准

陈 昊，王玉荣

（1.南京供电公司，南京 210008；2.东南大学 电气工程学院，南京 210096）

一种负荷预测模型预测能力的评价标准

陈 昊1，王玉荣2

（1.南京供电公司，南京 210008；2.东南大学 电气工程学院，南京 210096）

常用的负荷预测模型预测能力的评价标准（如MSE和MAE）在使用过程中存在一定的局限性。引入Diebold⁃Mariano（DM）检验，给出了判断不同预测模型预测能力是否存在显著差别的定量分析方案。算例分析表明，基于DM检验的现代评价标准可以缓解样本中随机干扰造成的影响，有效地甄别模型的预测能力，为更全面地比较负荷预测模型提供了参考。

负荷预测；损失函数；MSE；MAE；DM检验

电力系统的经济、安全运行离不开有效的电力负荷预测。经过近几十年来人们的努力，已涌现出一大批实用的负荷预测模型，如：神经网络模型［1］、混沌模型［2］、Box⁃Jenkins时间序列模型［3］以及波动模型［4］等。实际的负荷预测系统，通常提供多种负荷预测模型，让调度和规划计划人员根据实际情况相机而决。此时，对负荷预测模型预测能力的考核和评价就显得尤为重要，但现有文献中对预测评价方面的研究［5］相对较少，具有定量判断依据的现代评价标准的讨论是必要和有益的。

一个科学全面的评价标准，对不同预测模型的筛选和修正起着关键的作用。从文献上看，目前使用较多的是均方误差（mean squared error，MSE）和平均绝对误差（mean absolute error，MAE）等常规评价标准。电力系统生产实践中，各地电力公司使用的负荷预测精度考核评价标准也多是MSE与MAE的变体。依靠这些常规评价标准来判断模型预测能力的高下较为简单便捷，一般可以给出合理判断，但在一些场合仍存在局限性。由于样本偶然性的普遍存在，容易使预测结果出现随机差异，此时沿用常规评价标准容易做出误导性的判断，且不能给出模型预测能力明确的、定量的优劣分界线。

本文引入DM检验［6］，给出了一种基于DM检验的负荷预测模型预测能力的现代评价标准，对MSE和MAE数值大小差别能否评价模型预测能力的高下提出了定量分析方案。

1 常用预测评价标准及其局限性

MSE和MAE是最常用的2种评价标准。下面以MSE为例，讨论常用评价标准可能存在的局限性。

计算出2个负荷预测模型样本外预测结果的MSE后，如果模型A和模型B的MSE有细微差别，是否可以认为MSE小的模型预测能力一定优于MSE大的模型？在一些情况下，这样的论断可能是没有把握的。如模型A的MSE比模型B的MSE稍大，这种差距未必有统计上的显著意义，可能仅仅是由于样本偶然性导致结果出现了一些随机差异，此时不能对2种模型预测能力的高下作出认定。

MSE的差别是否在统计意义上足够显著，是否足以确信这种差距的出现是因为模型预测能力的确有高下之分，这些是常规评价标准不能提供的。从现代评价标准的视角入手，预测能力的评价问题可以通过构造假设检验在数理层面给出一个定量的结果。

2 基于DM检验的预测评价标准

常用预测评价标准未涉及2个模型的统计检验。只有当模型A的MSE数值上低于模型B，且这种差别显著大于零时，才有足够的信心认为模型A的预测能力优于模型B。DM检验正可以用于甄别这种差别是否显著大于零。

在正式展开DM检验之前，必须先定义损失函数的概念。

2.1 损失函数

考察一组时间序列｛yt｝，建立i个模型进而使用这些模型进行预测，得到i组的预测值4…），算得相应的预测误差序列（i=1，2，3，4…）。

定义：损失函数为预测误差的函数，形如

损失函数需要满足3个条件：①L（0）=0；②L（）是连续的；③L（）随着|的增加而单调上升。

损失函数的形式很多［7，8］，最常用的是误差平方损失（squared error loss）

其次为误差绝对损失（absolute error loss）

2.2 DM检验

对一个预测长度为T期的预测，为判断一个模型的预测能力是否显著异于另一个模型，构建如下零假设

其中，0）为零点谱密度。

此时构造的DM统计量依分布收敛于正态分布［6］，即

3 算例分析

对2009年江苏省某地区96点日负荷数据建立3种负荷预测模型。其中模型A为GARCH（广义回归条件异方差）模型［4］，模型B为TAR（门限自回归）模型［9］，模型C为ARMA（自回归移动平均）模型［4］。

表1 预测模型的MAE、MSE比较

由表1可见，MAE和MSE对3种负荷预测模型预测能力的评价是不一致的。以MAE而言，预测能力排序为A＞B＞C；以MSE而言，预测能力排序为A＞C＞B。通常个别预测误差较大的点对MSE的影响大于MAE，本算例中的排序也反应了这种差别。

下面使用DM检验，定量检验模型的预测能力是否存在高下之分。

首先比较模型A与模型B，计算基于MAE和MSE的DM统计量（DM⁃MAE，DM⁃MSE）及相伴P值，如表2所示。

表2 模型A和模型B预测能力比较

由表2可见，在MSE意义下的DM检验的结果为2种模型的预测能力差异显著（DM⁃MSE统计量的绝对值大于临界值的绝对值），即在MSE意义上2种模型预测能力差距较大，有信心认为模型A预测能力的确优于模型B；而在MAE意义下的DM检验的结果不能拒绝2种模型的预测能力相当的原假设（DM⁃MAE统计量的绝对值稍小于临界值的绝对值），随机干扰因素的存在也许是造成这2种模型的MAE有差距的原因，而并非2种负荷预测模型预测能力有实质性的差异。

类似的，模型B与模型C的比较结果如表3所示。

表3 模型B与模型C预测能力比较

由表3可见，在MAE意义下的DM检验的结果不能拒绝2种模型预测能力相当的原假设。有理由推测模型B与模型C预测结果的MAE差别或许是由于某些随机因素造成的；在MSE意义下亦然。

模型C与模型A的比较结果如表4所示。

表4 模型C与模型A预测能力比较

由表4可见，在MSE意义下的DM检验的结果为2种模型的预测能力有显著差别；在MAE意义下亦然。

从算例分析中可以得到以下几点结论：

（1）借助DM检验，3种负荷预测模型预测能力差别是否显著可以得到甄别。MSE意义下，模型A、B预测能力有显著差异；无论在MSE还是MAE意义下，模型C、A预测能力有显著差异。其他3种情况下，对比模型的预测能力难分轩轾。

（2）基于MSE意义下的DM检验结论和基于MAE意义下的DM检验结论有时会有差别，这是由MSE和MAE 2种标准本身的差异造成的。

（3）直观来看，MSE数值上差别越大，2种模型的预测能力越可能有高下之分，但究竟MSE差别大到何种程度才能下这样的判断？DM检验通过构造统计量能够定量地给出判别方法。基于MAE的DM检验亦然。

4 结束语

本文指出了负荷预测常用评价标准可能受随机干扰影响的局限性，并给出了基于DM检验的负荷预测模型预测能力评价标准。DM检验可以在很大程度上区分由于样本偶然性造成的预测结果的随机差异和模型预测能力的实质性差别造成的结果的差异，是对以往常用评价标准的一种完善。基于DM检验的评价标准为更全面地比较和品评负荷预测模型提供了参考。

此外，算例分析中虽然以负荷预测为例，但DM检验的适用范围很广，绝非只此一隅，亦可适用于风速预测、电价预测等电力系统领域的相关预测课题。

：

［1］高山.短期负荷预测技术［D］.南京：东南大学，1997.

［2］张步涵，刘小华，万建平，等.基于混沌时间序列的负荷预测及其关键问题分析［J］.电网技术，2004，28（13）：32-35.

［3］Amjady N.Short⁃term hourly load forecasting using time series modeling with peak load estimation capability［J］.IEEE Transactions on Power Systems，2001，16（4）：795-805.

［4］陈昊.基于广义自回归条件异方差模型的负荷预测新方法［J］.电力系统自动化，2007，31（15）：51-54.

［5］陈亚红，马丽，穆刚，等.两种负荷预测精度考核指标的比较［J］.电力系统自动化，2003，27（17）：73-77.

［6］Diebold F X，Mariano R.Comparing predictive accuracy［J］.Journal of Business and Economic Statistics，1995（13）：253-265.

［7］Diebold F.Elements of Forecasting［M］.Cincinnati：South⁃Western，2001.

［8］Granger Clive W J.Outline of forecast theory using gener⁃alized cost functions［J］.Spanish Economic Review，1999，2（1）：161-173.

［9］艾欣，蔡国伟，张湛.电力系统短期负荷预测中非线性模型的研究与应用［J］.电力系统自动化，1994，18（12）：19-23.

An evaluation criterion for the forecast accuracy of load forecasting models

CHEN Hao1，WANG Yu⁃rong1
（1.Nanjing Electric Power Supply Company，Nanjing 210008，China；2.Southeast University，Nanjing 210096，China）

Common load forecast models evaluation crite⁃ria，such as MSE and MAE，have limitation in application to some degrees.In this paper，the Diebold-Mariano（DM）test is introduced.Furthermore，the scheme of quantitative analysis，which can discriminate the significant difference of forecasting ac⁃curacy between different models，is proposed.Case study indi⁃cates that this morden evaluation criterion based on DM test can relieve the influence of random sample disturbance，and can also evaluate the performance of load forecasting models.Moreover，the proposed method can provide reference to the comprehensive evaluation for load forecasting models.

load forecasting；loss function；mean squared er⁃ror（MSE）；mean absolute error（MAE）；diebold⁃mariano（DM）test

TM715；F407.61

A

1009-1831（2010）06-0024-03

2010-09-08；修回日期：2010-09-19

陈昊（1980—），男，江苏南京人，统计师，工程师，研究方向为高等时间序列分析与多元统计；王玉荣（1981—），女，河北唐山人，博士研究生，研究方向为电力系统时间序列分析与无功优化。