效率系数和一致性指数及其在干旱预测精度评价中的应用

王　蕾，王鹏新，田　苗，刘峻明，李　俐

(1.中国农业大学信息与电气工程学院， 北京 100083；

2.江苏省农业科学院农业经济与信息研究所， 江苏 南京 210014)



效率系数和一致性指数及其在干旱预测精度评价中的应用

王蕾1，王鹏新1，田苗2，刘峻明1，李俐1

(1.中国农业大学信息与电气工程学院， 北京 100083；

2.江苏省农业科学院农业经济与信息研究所， 江苏 南京 210014)

摘要：基于关中平原2003—2014年Aqua-MODIS数据的条件植被温度指数的干旱监测结果，引入效率系数和一致性指数对自回归求和移动平均(ARIMA)模型和季节性ARIMA模型的预测精度进行了评价，并分析了其在干旱预测精度评价中的适用性。两种干旱预测模型的精度评价结果为ARIMA模型与季节性ARIMA模型的效率系数分别为-0.04与-4.27，一致性指数分别为0.40与0.37，表明ARIMA模型对干旱的预测精度高于季节性ARIMA模型，这与均方根误差、皮尔森相关系数及Kappa系数等的评价结果一致，且效率系数对不同干旱预测模型的预测性能的区分效果尤为显著，对干旱预测模型的精度评价比一致性指数更为合理。因此，效率系数更适合用于遥感干旱预测模型的精度评价。

关键词：效率系数；一致性指数；精度评价；干旱预测

干旱是全球影响最为广泛的自然灾害之一，具有持续时间长、波及范围广、出现频率高等特点，已经严重制约了国民经济尤其是农业生产的发展[1]。由于干旱的影响因子繁多，且监测指标多样，因此干旱的预测研究也较为复杂[2]。传统的干旱预测通常采用点上的监测数据，该数据采集周期较长，且缺乏区域代表性，不能准确、迅速、全面地收集地面信息。遥感技术为实时、大面积的干旱监测和预测的实现提供了条件。常见的基于植被指数(如NDVI)和地表温度(LST)的干旱监测方法有数种，如距平植被指数、条件植被指数、条件温度指数、归一化温度指数、温度植被干旱指数、条件植被温度指数(VTCI)等，其中VTCI既考虑了区域内NDVI的变化，又考虑了NDVI值相同条件下LST的变化，适用于研究一特定年内某一时期某一区域的干旱程度[3-5]。

目前，被引进到大范围遥感面上预测结果精度评价的指数为Kappa及其相关的各项指标。然而，Kappa及修正后的Kappa系数结合其相关的评价指标虽然可以用于干旱预测结果的精度评价，但是Kappa系数本身与总体精度密切相关，且受研究因素的阳性和阴性比例之差及测量偏倚的复杂影响[6]。因此存在需要选择Kappa系数及其相关的各项指标中的某一指标进行干旱预测精度评价的问题。

效率系数(Nash-sutcliffe efficiency coefficient)和一致性指数(Index of agreement)常用于水文模型的精度评价。效率系数反映的是模型预测值与实际监测值的平均值之间的接近程度[7-8]。一致性指数是对决定系数等基于相关性的精度评价系数的改进，取值越接近1表示模型预测结果与实际监测值之间的符合程度越高。Zeng等应用效率系数对河流的径流量预测模型进行了精度评价[9]，验证了效率系数在水文预测模型精度评价中的适用性。在水文模型的应用中，通常采用若干个地面观测数据进行相应的精度评价，然而对于遥感干旱预测结果来说，存在着基于像元的成千上万的数据样本。因此如何利用水文模型评价指标进行遥感干旱预测模型的精度评价成为一个需要解决的问题。目前应用效率系数和一致性指数评价遥感干旱预测模型的研究还鲜见报道。本研究基于2003—2014年Aqua-MODIS数据的VTCI干旱监测结果，应用效率系数和一致性指数对自回归求和移动平均模型(Autoregressive integrated moving average，ARIMA)和季节性ARIMA模型(Seasonal ARIMA，SARIMA)的干旱预测结果进行精度评价[2，10]，以期选择适用于遥感干旱预测精度评价的方法。

1精度评价指数的机理

1.1效率系数

效率系数(E)是由Nash和Sutcliffe在1970年提出的[11]，常用于水文领域的模型性能评价：

(1)

可以看出，效率系数是预测值与监测值的均方误差和监测值的方差的比率被1减去得到的差值[14]，因而式(1)可改写为：

(2)

(3)

1.2一致性指数

一致性指数(d)是对基于相关性的精度评价指数的一种改进，定义为[13]：

(4)

一致性指数的物理意义是预测值与监测值的均方误差和潜在误差(Potential error)的比率被1减去得到的差值，其取值范围为0～1，值越大表示监测值与预测值的一致性程度越高。

1.3其他精度评价指数

其他精度评价指数包括Kappa系数及其相关的各种指标[6]、均方根误差(RMSE)和皮尔森相关系数等。本文将基于上述各种精度评价指数对干旱预测模型的评价结果进行对比分析，优选出精度较高的干旱预测模型和精度评价方法。

2数据处理与精度评价过程

2.1研究区概况

陕西省是我国干旱发生的高风险区，干旱缺水已成为制约陕西经济发展的瓶颈问题。关中平原位于陕西省中部，西起宝鸡，东至潼关，北起北山，南止秦岭，包括西安、铜川、宝鸡、咸阳、渭南5市和杨凌示范区。关中平原为典型的大陆性季风气候区，属暖温带半湿润气候，降水量较少，年平均降水量为550～700 mm，年平均气温为12℃～13℃。关中平原是陕西省自然条件最好的地区，号称“八百里秦川”，集中了陕西省的大中城市，是陕西省粮食的主产区，农村经济的发展增长中心，一旦发生干旱将对社会经济造成严重影响[6]。由于年内降水分配不均，因而导致作物在全生育期间呈现不同程度的水分不足现象, 故关中平原出现春旱的机率较高[16]。且干旱发生的空间差异明显，气象干旱程度由西南向东北逐渐加剧，东北部和中北部地区是气象干旱最为严重的区域。在旱年地区内普遍发生不同程度的气象干旱，但干旱程度差异较大；在正常年份局部区域仍可能发生气象干旱[17]。

2.2数据处理

2.2.1干旱监测结果的生成本研究的数据源为关中平原2003—2014年Aqua-MODIS反演的VTCI干旱监测结果和应用ARIMA、SARIMA模型的VTCI干旱预测结果。VTCI已被证实是一种适合关中平原的近实时的干旱监测方法，其定义为[18]：

(5)

其中：

LSTmax(NDVIi)=a+bNDVIi

(6)

LSTmin(NDVIi)=a′+b′NDVIi

(7)

式中，NDVI为归一化植被指数；LST为地表温度；LSTmax(NDVIi)和LSTmin(NDVIi)分别表示在研究区域内，当NDVIi值等于某一特定值时的所有像元地表温度的最大值和最小值，并被称作热、冷边界，LST(NDVIi)表示某一像元的NDVI值为NDVIi时的地表温度，a、b、a′和b′为待定系数，由研究区域的散点图近似获得。

采用关中平原的Aqua-MODIS数据，应用最大值合成技术，分别生成每年3—5月以旬为单位的NDVI和LST最大值合成产品；基于多年某一旬的NDVI和LST最大值合成产品，应用最大值合成技术分别生成多年的旬NDVI和LST最大值合成产品；对多年某一旬的LST最大值合成产品，逐像元取最小值，生成多年的旬LST最大-最小值合成产品。根据VTCI计算方法，生成了2003—2014年每年3—5月以旬为单位的时间序列VTCI数据，即VTCI干旱监测结果。图1为2014年5月上旬VTCI干旱监测结果。

图12014年5月上旬VTCI干旱监测结果

Fig.1Drought monitoring results of VTCI in the

first ten days of May, 2014

2.2.2干旱预测结果的生成将2003—2014年每年3月上旬—5月下旬的VTCI干旱监测结果作为输入数据，根据田苗等对VTCI时间序列的分析，运用SARIMA模型和ARIMA模型对关中平原未来的干旱状况进行预测[10]，得到2003—2014年每年3月上旬-5月下旬的干旱预测结果。预测的基本过程为首先采用多年VTCI时间序列数据确定模型参数，即构建模型，待模型参数确定后，再应用所确定的参数对每年同期的VTCI进行预测。

2.3精度评价过程

以VTCI的监测结果为监测真值，应用效率系数、一致性指数、Kappa系数、均方根误差等对上述两种预测模型的预测结果进行精度评价。具体评价过程是以2003—2014年每年3月上旬至5月下旬每一旬的12幅VTCI监测结果(参考图1，图像大小：191×405像元)和相应旬的12幅VTCI预测结果序列对应作为一对数据整体，逐像元计算各个精度评价指数的值，并将该旬所有像元精度评价值的均值作为该旬这种精度评价指数的值。综合9旬的精度评价指数，采用9旬的均值作为预测模型的精度评价指数值。然后对比分析ARIMA模型和SARIMA模型的效率系数、一致性指数以及其他几种精度评价指标的评价结果。同时，为了直观地表达上述两种精度评价指数不同取值范围内像元的分布情况，以4月下旬为例，生成了两种指数的频率图，进而判断几种指数对干旱预测模型精度评价的适用性。最后，应用不同精度评价指数的评价结果对两种干旱预测模型的预测精度进行评估和分析。

3结果与分析

3.1均方根误差和皮尔森相关系数

均方根误差(RMSE)表示的是VTCI预测值与监测值之间的偏差程度，反映模型预测值与监测值之间的拟合度的高低。皮尔森相关系数(r)是利用预测值与监测值之间相关度的高低来检验模型的预测性能的优劣。逐像元计算2003—2014年Aqua-MODIS的VTCI的ARIMA模型预测值和SARIMA模型预测值的RMSE及r并求均值，得到9旬两种模型预测结果的RMSE和r(如图2)。可以看出，各旬的SARIMA模型的RMSE值均明显大于ARIMA模型的RMSE值，说明ARIMA模型的预测值与实际监测值之间的误差低于SARIMA模型。同时，几乎所有旬的ARIMA模型的皮尔森相关系数均明显高于SARIMA模型，反映了ARIMA模型预测值与监测值之间的相关性要高于SARIMA模型预测值与监测值之间的相关性。这些结果均表明，ARIMA模型的预测结果与监测值之间的一致性程度比SARIMA模型的一致性程度更高，适合用于关中平原的干旱预测。

图2ARIMA和SARIMA模型的均方根误差和皮尔森相关系数

Fig.2Root mean square errors and Pearson's correlation coefficients of the ARIMA and SARIMA models

3.2Kappa系数及其相关的各项指标

Kappa最早由Cohen提出，在评价遥感分类精度方面应用广泛[6]，Kappa相关的总体精度(P0)是指干旱预测结果与实际监测结果一致的概率；阳性一致率(Ppos)和阴性一致率(Pneg)分别表示预测结果中的干旱一致率和不旱一致率；通过计算Kappa的最大值、最小值可得到Kappa的取值范围；修正过的Kappa系数(Prevalence and bias adjusted Kappa，PABAK)是通过计算流行率指数(Prevalence index，PI)和偏倚指数(Bias index，BI)，分析判断Kappa 出现反论的原因，进而计算得到的。采用2003—2014年的Aqua-MODIS反演的VTCI监测值和ARIMA、SARIMA模型的预测值计算两个模型的Kappa系数(K)、总体精度(P0)、阳性一致率(Ppos)、阴性一致率(Pneg)、流行率指数(PI)、偏倚指数(BI)、kappa系数的最大值(Kmax)和最小值(Kmin)以及修正过PI和BI的Kappa系数(PABAK)[6]并求均值，得到两种模型预测结果3月上旬至5月下旬的Kappa系数及其相关的各项指标的值，取各指数9旬的均值得到两种模型的各种精度评价指标的值(表1)，并基于各旬的计算结果生成了散点图(图3和4)。

表1　ARIMA、SARIMA模型的Kappa系数及与Kappa相关的各种指标

由表1可知，PI和BI的绝对值都较小，因此认为此时Kappa系数不存在反论，不需要用PABAK来代替K值。由图3可知，两种模型的Kappa系数及总体精度值的变化趋势一致，而且两者的值均是ARIMA模型的精度评价指标的值大于相应的SARIMA模型的精度评价指标值。同时，由图4可知，ARIMA模型预测结果的阴性一致率明显高于SARIMA模型，表明ARIMA模型预测结果与监测结果之间的不旱一致率高于SARIMA模型。同时，两种模型的阳性一致率变化趋势和取值均较为接近，而且SARIMA模型预测结果与实际监测值之间的干旱一致率略高于ARIMA模型。综合考虑上述各种指数的精度评价结果，可以认为ARIMA和SARIMA模型均适合用于关中平原的干旱预测。

3.3一致性指数

逐像元计算ARIMA和SARIMA模型的一致性指数(d)并求均值，得到两种预测模型3月上旬—5月下旬的精度评价值，并根据计算结果得到散点图(图5)。同时，为了验证d对两种模型的区分效果，以4月下旬为例，生成d的频率分布图(共12×30 892个像元)(图5)。由图5可知，多数旬ARIMA模型的d值大于SARIMA模型的d值，且从d值的频率分布来看(图6)，ARIMA模型和SARIMA模型的d值分别集中在0.25和0.42附近，即ARIMA模型的d值的分布更趋近于1，表明ARIMA模型的预测精度较高，且预测性能优于SARIMA模型的预测性能。

图3　ARIMA、SARIMA模型的Kappa系数和总体精度

图4　ARIMA、SARIMA模型的阳性和阴性一致率

图5　ARIMA、SARIMA模型的一致性指数(d)

图6ARIMA、SARIMA模型一致性指数(d)评价结果的频率分布

Fig.6Frequency distribution of the index of agreement of the ARIMA and SARIMA models

3.4效率系数

逐像元计算ARIMA和SARIMA模型的效率系数并求均值，得到两种模型预测结果3月上旬—5月下旬的效率系数值，并根据计算结果得到两种预测模型各旬效率系数(E)(图7)。同样的，为验证E对两种模型的区分效果，生成2003—2014年4月下旬E的频率分布图(图8)。

由图7可知，每旬的ARIMA模型的E值均明显大于SARIMA模型的相应值，且ARIMA模型和SARIMA模型的E值分别集中在0和-3附近，表明ARIMA模型的预测性能明显优于SARIMA模型的预测性能。从E值的频率分布图来看(图8)，ARIMA模型的E值主要分布在[-1，1]的区间，且频率的分布较为集中，而SARIMA模型的E值主要分布在[-10，0]的区间，且频率的分布非常分散，频率的变化也较为平缓，这些结果均表明ARIMA模型的预测性能更优。从理论上分析，效率系数E的取值范围为从负无穷到1，值越大表示预测值与监测值的一致性程度越高，值为0时表示模型的预测结果总体可信，但预测误差较大，取值远小于0时则表明模型的预测结果不可信[9,11]。因此，ARIMA模型的预测结果总体较好，但预测误差较大，而SARIMA模型的预测精度显著低于ARIMA模型的预测精度。可见，效率系数适用于干旱预测模型的精度评价。

图7ARIMA、SARIMA模型的效率系数(E)

Fig.7Values of the coefficient of efficiency (E) of the ARIMA and SARIMA models

3.5评价结果的对比分析

ARIMA和SARIMA模型的各种精度评价指数的平均值见表2。可以看出，效率系数(E)和一致性指数(d)对两种模型的精度评价结果与均方根误差(RMSE)、皮尔森相关系数(r)、Kappa系数(K)、总体精度(P0)及阴性一致率(Pneg)的评价结果一致，评价结果均为ARIMA模型对关中平原干旱的预测能力优于SARIMA模型的预测能力。综合考虑，可以得出ARIMA模型更适合用于关中平原的干旱预测的结论。同时，由于效率系数相对一致性指数对两种模型的区分度更高，因此认为效率系数更适合用于遥感干旱预测模型的精度评价。

图8　ARIMA、SARIMA模型的效率系数(E)评价结果的频率分布

4结论与讨论

一致性指数和效率系数常用于水文预测模型的精度评价，与观测值和预测值之差、观测值和观测值的均值之差以及预测值和观测值的均值之差密切相关。相对于通常采用若干地面观测数据构建的水文预测模型，遥感干旱预测模型是基于成千上万甚至数千万的数据样本，因此在利用水文预测模型的精度评价指标时需重点剖析数据样本的特性。基于VTCI的干旱监测结果以及ARIMA和SARIMA模型的干旱预测结果，在分析两预测模型的一致性指数和效率系数，尤其是一致性指数和效率系数的频率分布基础上，得出了ARIMA模型更适合用于关中平原的干旱预测，以及效率系数更适合于遥感干旱预测模型精度评价的结论。

干旱预测模型精度评价的另一重要因素是对干旱等级预测的精度，即预测结果是旱还是不旱，是轻旱还是中旱等，而Kappa系数及其相关指标，尤其阳性一致率对干旱等级预测结果的评价具有明显的优势[6]。因此，应用效率系数，并结合Kappa系数和阳性一致率等对干旱预测模型进行精度评价，可获得更合理、更全面的精度评价结果。

在干旱预测模型的精度评价中，不同精度评价指数的分级标准及其理论意义和含义也不尽相同。对于从水文学领域引进的效率系数而言，它们在遥感干旱预测模型中评价结果的分类标准还未建立，还不能赋予其评价结果以确切的含义。在水文学领域，效率系数E值为0时表示模型的预测结果总体可信，但预测误差较大，若按此进行推理，则ARIMA模型的预测结果属于此类。因而，如何为基于“海量”遥感数据的干旱预测模型中的效率系数建立评价标准并确定预测值与监测值之间一致性程度的等级还需要在后续的研究中进一步完善。

参 考 文 献：

[1]Patel N R, Parida B R, Venus V, et al. Analysis of agricultural drought using vegetation temperature condition index (VTCI) from Terra/MODIS satellite data[J]. Environmental Monitoring and Assessment, 2012,184(12):7153-7163.

[2]韩萍,王鹏新,王彦集,等.多尺度标准化降水指数的ARIMA模型干旱预测研究[J].干旱地区农业研究,2008,26(2):212-218.

[3]王鹏新,龚健雅,李小文.条件植被温度指数及其在干旱监测中的应用[J].武汉大学学报(信息科学版),2001,26(5):412-418.

[4]薛辉,倪绍祥.我国土壤水分热红外遥感监测研究进展[J].干旱地区农业研究,2006,24(6):168-172.

[5]李艳,王鹏新,刘竣明,等.基于条件植被温度指数的冬小麦主要生育时期干旱监测效果评价.Ⅰ 因子权重排序法和熵值法组合赋权[J].干旱地区农业研究,2013,31(6):159-163.

[6]田苗,王鹏新,严泰来,等.Kappa系数的修正及在干旱预测精度及一致性评价中的应用[J].农业工程学报,2012,28(24):1-7.

[7]Ritter A, Munoz-Carpena R. Performance evaluation of hydrological models: Statistical significance for reducing subjectivity in goodness-of-fit assessments[J]. Journal of Hydrology, 2013,480:33-45.

[8]Legates D R, McCabe G J. Evaluating the use of “goodness-of-fit” measures in hydrologic and hydroclimatic model validation[J]. Water Resources Research, 1999,35(1):233-241.

[9]Zeng Xubin, Kiviat K L, Sakaguchi K, et al. A toy model for monthly river flow forecasting[J]. Journal of hydrology, 2012,452-453:226-231.

[10]田苗,王鹏新,韩萍,等.基于SARIMA模型和条件植被温度指数的干旱预测[J].农业机械学报,2013,44(2):109-116.

[11]Nash J E, Sutcliffe J V. River flow forecasting through conceptual models part I-A discussion of principles[J]. Journal of Hydrology, 1970,10(3):282-290.

[12]O'Connell P E, Nash J E, Farrell J P. River flow forecasting through conceptual models part II-The Brosna catchment at Ferbane[J]. Journal of Hydrology, 1970,10(4):317-329.

[13]Mandeville A N, O'Connell P E, Sutcliffe J V, et al. River flow forecasting through conceptual models part III-The Ray catchment at Grendon Underwood[J]. Journal of Hydrology, 1970,11(2):109-128.

[14]Altunkerynak A, Wang Keh-Han. A comparative study of hydrodynamic model and expert system related models for prediction of total suspended solids concentrations in Apalachicola Bay[J]. Journal of Hydrology, 2011,400(3-4):353-363.

[15]Willmott C J, Ackleson S G, Davis R E, et al. Statistics for the evaluation and comparison of models[J]. Journal of Geophysical Research: Oceans, 1985,90(C5):8995-9005.

[16]张树誉,李慧,王鹏新,等.条件植被温差指数干旱监测方法的研究与应用[J].干旱区资源与环境,2014,28(4):118-122.

[17]谭学志,粟晓玲,邵东国.基于SPI的陕西关中地区气象干旱时空特征分析[J].干旱地区农业研究,2011,29(2):224-229.

[18]Sun W, Wang P X, Zhang S Y, et al. Using the vegetation temperature condition index for time series drought occurrence monitoring in the Guanzhong Plain, PR China[J]. International Journal of Remote Sensing, 2008,29(17-18):5133- 5144.

Application of the coefficient of efficiency and index of agreement on

accuracy assessment of drought forecasting models

WANG Lei1, WANG Peng-xin1, TIAN Miao2, LIU Jun-ming1, LI Li1

(1.CollegeofInformationandElectricalEngineering,ChinaAgriculturalUniversity,Beijing100083,China;

2.InstituteofAgriculturalEconomyandInformation,JiangsuAcademyofAgriculturalSciences,Nanjing,Jiangsu210014,China)

Abstract：The coefficient of efficiency and index of agreement are usually used to evaluate the accuracy of hydrological models. Based on the drought monitoring results from the vegetation temperature index using Aqua-MODIS data from 2003 to 2014 in the Guanzhong Plain, China, the coefficient of efficiency and index of agreement were employed to assess the precision accuracy of two drought forecasting models, the Autoregressive Integrated Moving Average (ARIMA) and Seasonal ARIMA (SARIMA) models, and to analyze the performance of these models as well. The results showed that the coefficients of efficiency of the two models were -0.04 and -4.27, and the values of the index of agreement of the two models were 0.40 and 0.37, respectively, indicating that the performance of the ARIMA model was better than that of the SARIMA model. These results were in good agreement with the ones based on root mean square error, Pearson's correlation coefficient and Kappa coefficient. Particularly, the assessments of the coefficient of efficiency were reasonable and remarkable than those of the index of agreement. Therefore, the coefficient of efficiency was suitable for the accuracy assessment of the drought forecasting models.

Keywords:coefficient of efficiency; index of agreement; accuracy assessment; drought forecasting

中图分类号：S165+.2

文献标志码：A

通信作者：王鹏新(1965—)，男，陕西礼泉人，教授，博士生导师，主要从事定量遥感及其在农业中的应用研究。 E-mail：wangpx@cau.edu.cn。

作者简介：王蕾(1988—)，女，河南郑州人，硕士研究生，主要从事定量遥感及其在干旱预测中的应用研究。 E-mail：409118258@qq.com。

基金项目：国家自然科学基金项目(41371390，41071235)；国家科技支撑计划项目(2012BAH29B03)

收稿日期：2014-12-23

doi:10.7606/j.issn.1000-7601.2016.01.35

文章编号：1000-7601(2016)01-0229-07