◎刘永平,郭小波,胡坤伦
(河南工程学院计算机学院,河南 郑州 451191)
我国作为一个农业大国,粮食价格不仅关系到农民的收入和消费水平的提高,同时关系到我国农业的长远和健康的发展,对粮食价格进行有效的调控,是稳定国家和社会发展的基础,也是目前我国国家宏观调控的重要内容之一[1]。
目前,国内外对于粮食价格的预测大多数采用传统的专家经验和简单的数学模型来完成[2]。例如直线外推模型、指数平滑模型、回归线分析模型等,使用这些模型进行分析的过程中,往往只是强调粮食价格的历史变化规律对未来粮食价格带来的影响。然而,实际中的粮食价格并不仅仅受到来自粮食价格的历史因素的影响,在这些众多的影响因素中存在的关系也是一种不确定的关系[3]。如何考虑多种粮食价格影响因素构建粮食价格预测模型对提高粮食价格分析和预测的准确性和可靠性具有非常重要的意义。云计算技术建立在云服务基础之上,通过云计算结合数据挖掘算法发现粮食价格与各种影响因素之间的关系,实现对粮食价格的分析和预测,相对于传统的线性分析法和单一的历史价格分析法具有更高的效率和准确性,可以有效提高粮食价格分析预测效率和准确性[4]。
基于此,本文提出了一种基于云计算的粮食价格分析和预测模型,该模型利用apriori算法在云计算环境下执行,实现了对影响粮食价格的各类影响因素和粮食价格之间的关联性进行分析挖掘,根据得到的关联性和置信度实现了对粮食价格的分析和预测。
云计算是分布式计算的一种,云计算的基本原理就是将复杂的计算自动拆分成多个小的计算过程(子程序),然后通过网络形式交由网络上多个云服务器来共同完成,最后将结果返回给用户[5],其整个过程涉及到网络搜寻、计算分析和程序拆分汇总等一系列操作过程。
通过云计算技术,在庞大的云网络服务下,云计算服务提供者可以实现对云网络上所有计算设备资源进行有效的整合,实现在短时间内完成数以千万计的信息处理和数据处理,达到与大型超级计算机相同的计算能力和计算效果。借助于云计算这一特点,在粮食价格分析和预测中,可以充分的利用云计算技术对影响粮食价格的相关因素进行分析和处理,在庞大的影响因素数据中发现其变化和影响规律,进而实现对粮食价格的预测和分析。
Hadoop是一款非常著名的云计算框架,是由著名的Apache开源基金会组织开发的一个分布式基础框架,通过该框架来构建云计算和云服务,可以极大的降低设计的工作量,提高构建的云计算系统的稳定性和可靠性。基于Hadoop进行云计算系统的设计时候,可以借助于其强大的并行计算控制机制,极大的提高计算处理效率[6],结合本文研究的粮食价格分析预测系统的特点,本文采用Hadoop云计算服务框架来构建粮食价格分析预测系统。
apriori算法是一种经典的数据挖掘算法,在目前大型的数据分析系统中被广泛使用。它可以很好的找出各类因素与粮食价格的影响关系,通过apriori算法挖掘粮食当前价格与历史数据以及各个影响因素之间的关联性。
本文在利用apriori算法对粮食价格进行分析和预测过程中,主要是通过apriori算法找出粮食价格与各类影响因素之间的置信度,通过其置信度构建粮食价格分析模型,以置信度计算出粮食价格对其进行预测。
本文设计的基于apriori算法的粮食价格预测模型如图1所示,整个粮食价格是建立在2005年到2015年十年的粮食零售价格指数、粮食生产价格指数、世界粮食价格指数、农村及城镇居民粮食消费与供给比率和居民消费价格指数数据基础之上,通过从我国农业部门和世界农业部门的官方数据库中导入这十年的粮食指数参数作为预测数据的基础,基于这些数据构建数据挖掘模型数据库,利用apriori算法对其进行数据挖掘分析,得出各种因素与粮食价格之间的置信度,然后通过计算模型实现对粮食价格的计算和预测,得出当前时间的粮食价格。
从《中国统计年鉴》《中国农产品价格调查年鉴》、联合国粮食及农业组织网站(http://www.fao.org/home/en/),以及农业部和世界农业组织中可以获取指数数据,这些数据被存储到预测模型的数据仓库中,由于apriori算法处理效率较低,这些数据包含了近十年的历史数据,如果同时对其处理将导致整个预测效率极低,因此本文采用云计算方法,通过Hadoop云计算框架来实现apriori算法,在利用Hadoop进行计算的过程中,首先需要将十年的数据处理成html格式存储到Hadoop框架的中,使用MapReduce来进行粮食价格影响因素数据的提取,在完成粮食价格影响因素数据的提取之后,将基于apriori算法的粮食预测模型与Hadoop云计算框架进行关联,可以直接将获得的数据写入到HDFS数据库中,为后续Hadoop算法处理做准备。
图2 基于Hadoop云计算框架实现的粮食价格分析和预测框架模型
在数据预处理的基础上,结合Hadoop云计算框架,本文设计了基于Hadoop云计算处理的粮食价格分析预测模型如图2所示,Hadoop云计算框架部署于Linux虚拟机上,通过Hadoop云服务组件构建整个云计算框架,然后设计Hadoop并行apriori处理任务,交由Hadoop并行调度控制器进行调度执行,将apriori算法挖掘分成多个并行任务分布到不同的虚拟计算节点上进行处理,同时通过Hadoop数据预处理模块从粮食价格预测数据库系统中导入粮食零售价格历史数据、粮食生产价格历史数据、世界粮食价格历史数据、农村及城镇价格历史数据和居民消费价格指数历史数据到Hadoop的HDFS文件系统中,为Hadoop执行apriori算法提供数据支持,这样极大的提高apriori算法的执行效率,最后执行完aprior算法后得到各个影响因数与粮食价格的置信度,交由粮食价格计算模块进行计算得出粮食价格的预测值。
本文基于Hadoop云计算框架构建了粮食价格分析和预测模型,以河南省驻马店市粮食市场的通货花生为例,对2014年1月份、6月份和12月份的三个月的历史粮食价格进行预测分析以验证其价格预测分析的准确性和可靠性,通过实际运行得到的结果如表1所示,通过预测值和实际价格值对比分析,可以看出本文设计的基于Hadoop云计算的粮食价格分析和预测模型对粮食价格进行预测具有较高的可靠性和准确性,其误差大致在每500g需要0.1元左右,符合一般的金融统计和分析要求。
表1 实验预测结果分析表
对粮食价格进行有效的分析和预测,可以提高国家对粮食价格的调控准确性和采取相应的措施的有效性,本文提出了一种基于云计算的粮食价格分析和预测模型,该模型利用apriori算法在云计算环境下实现了对影响粮食价格的各类影响因素和粮食价格之间的关联性进行挖掘,根据得出的关联性和置信度实现了对粮食价格的分析和预测。通过实验分析表明,本文构建的粮食价格分析预测模型可以很好的对粮食价格进行预测,具有较高的准确性和可靠性,对促进我国农业生产发展具有非常重要的意义。
[1]黄承真.云计算环境下机票价格预测及任务分配研究[D].合肥:中国科学技术大学,2014.
[2]刘春海,佟凤奇,崔涛. 粮食价格预测方法探讨[J].农业发展与金融,2012(6).
[3]邓自立.云计算中的网络拓扑设计和Hadoop平台研究[D].合肥:中国科学技术大学,2013.
[4]朱信凯,吕捷.中国粮食价格与CPI的关系(1996—2008)——基于非线性关联积分的因果检验[J].经济理论与经济管理,2011(3).
[5]戴文娟,雒伟民,陈靓瑜,等.Aprior算法在海滨观测数据相关性检验中的应用[J].海洋信息,2014(4).
[6]陈勇.基于Hadoop平台的通信数据分布式查询算法的设计与实现[D].北京:北京交通大学,2011.