杭天文++李文西++陈明++龚鑫鑫++徐迅燕++高洁++吴兵++张月平++张炳宁
摘要 首先阐述了耕地质量数据的重要性以及国内外研究现状,分析了现有耕地质量数据的特点和用户需求,针对需要建立面向行政领导、农业技术人员、农户等对象的全国耕地质量大数据平台,实现数据的统一和标准化管理,科学分析、深度挖掘数据价值,为全国政府部门、技术推广服务机构以及社会大众提供各类服务。
关键词 耕地质量;大数据平台;云计算;平台设计;中国
中图分类号 S126 文献标识码 A 文章编号 1007-5739(2016)22-0296-03
耕地是粮食安全和农业生产力的基础要素,是不可再生、不可替代的稀缺资源[1-2]。耕地质量的优劣直接影响农产品质量安全,影响农业增效和农民增收,关系到农业、农村和整个国民经济可持续发展[3]。2016年中央一号文件再次聚焦农业,明确指出实施耕地质量保护与提升行动,加强耕地质量调查评价与监测,2016年7月农业部发布《耕地质量调查监测与评价办法》明确指出各级人民政府农业主管部门是耕地质量监测与评价工作的责任主体[4]。建设耕地质量大数据平台,应用全国耕地质量调查成果,可以为政府决策、科学研究、农业技术推广提供有力支撑。
1 国内外研究进展
1.1 国外概况
1972年加拿大土壤信息系统(CSIS)建成[5],在此之前各省已相继建立土壤数据库[6-7],如1966年British Columbian建立了土壤数据库,1967年Alberta建立了空间土壤分析数据库。1975年英国Macauly土壤信息研究所在苏格兰试建第一个土壤数据库[8],但是由于各专业部门加入的信息没有采取统一的接口标准,因此数据的传输调用极为不便,直到1983年建立联合土壤数据库后这一状况才有所改善。美国在20世纪70年代初创建土壤数据库,20世纪80年代初州级土壤地理数据库系统及国家土壤地理数据库系统均建设完成[9]。1986年国际土壤学会开始着手建立1∶100万世界土壤和地形数字化数据库(world soils and terrain digital data base,简称SOTER),目的是建立一个包含数字化地图单元及其属性数据的世界土壤-地形体数据库[10]。20世纪80年代末,随着“3S”技术和自动制图技术等高新技术的发展与应用,在数据更新、动态评价、评价精度等方面取得很大进展,并能快速完成多维、多元信息复合分析。目前,世界上许多国家都建立了有一定影响的土地资源信息系统[11-12],如美国纽约土地利用与自然资源信息系统(LUNR)、美国明尼苏达土地管理信息系统(MLMIS)、新西兰微型计算机土地信息系统(MIDGE,Giltap)、澳大利亚SIRO土地利用规划信息系统、日本国家土地资源数据库系统、法国国土信息系统以及英国土地资源信息系统等。随着地理信息系统技术的发展,耕地质量的数据越来越丰富,人们通过地理信息系统建立了各自的耕地质量数据库,实现了耕地资源的数字化、信息化管理。
1.2 国内概况
20世纪80年代中期我国开始建立土壤数据库。1986年,北京大学遥感中心建立了区域土壤侵蚀信息系统。1989年南京土壤研究所研究完成1∶50万东北三江平原土壤信息系统。浙江省建立了1∶5万大比例尺土壤数据库[13-15]。2004年南京土壤研究所建成1∶100万土壤数据库[16],2007年建立中国土壤信息系统(SISChina,soil information system of China),它包含了不同尺度的土壤空间数据、土壤剖面属性数据、土壤空间与属性融合后的土壤专题空间化数据、土壤类型参比数据以及应用国际土壤主流分类的中国土壤分布特征数据[17]。设在中国农科院的国家土壤信息中心对全国第二次土壤普查资料进行了搜集整理,建立了相关的数据库。上述这些成果在我国耕地管理方面都发挥了一定的作用,但由于缺乏统一的描述标准,没有信息资源相互融合的数据平台,影响了数据资源的有效管理和应用[18]。
2 平台设计
2.1 需求分析
建国以来,我国分别于20世纪50年代和80年代组织了2次全国规模的耕地调查,于21世纪初组织了全国范围的耕地质量调查与质量评价[19];新中国成立60多年来,我国农业科研和推广部门做了大量的田间试验,积累了海量的试验数据[20]。这些数据目前大多分散在各个地区、各个部门的档案柜或电脑中,利用率很低,甚至同一地区的不同部门都无法共享将之应用于实际的农业生产。更严重的情况是由于机构调整、人员调动、办公地点搬迁等情况,许多宝贵的资料正在迅速流失或遗失。为了保护这些珍贵的数据资源并将之应用于耕地质量管理和农业生产,农业部委托扬州市耕地质量保护站在已有的工作基础上建设集耕地、肥料、墒情、环境等数据于一体的全国耕地质量大数据平台,通过数据的标准化管理、高效云平台服务、多形式的信息发布模式以及安全运维管理机制,为社会各种需求提供数据服务。
政府行政部门为农业部以及省、市、县各级农业部门提供地图浏览、信息查询、统计、成果输出等服务。涉及数据内容包括土壤类型、面积、分布,土壤养分状况(pH值、有机质、全氮、有效磷、速效钾等以及变化趋势),土地利用现状,耕地地力等级,耕地环境质量,主要作物类型、分布、产量,土壤墒情(实时、历史),肥料生产、销售、价格情况,高标准粮田分布、面积、建设内容,补充耕地和设施农业等内容。
研究及农业技术部门为国家、省、市、县专业技术人员提供地图浏览、信息查询、成果输出,以及数据准备、制作、管理、上报等服务。社会大众为广大农民提供承包田块的基础数据以及关于耕种、施肥、灌溉等农事措施的具体建议。这些建议可通过手機短信、微信、数据客户端、触摸屏一体机、网页浏览器等方便快捷的方式送达农民。
2.2 设计原则
2.2.1 整体性和开放性的原则。在本项目系统设计时将充分考虑国家、省、市、县不同用户的需求和数据流动的规律,整体设计规划,既注重各种信息资源的有机整合,同时也考虑具有一定的开放性,把握好信息集中存放和共享的协调。
2.2.2 可扩展性和易维护性的原则。在设计时应具有一定的前瞻性,充分考虑系统升级、扩容、扩充和维护的可行性。针对本系统涉及用户多、业务繁杂的特点,充分考虑提高业务处理的响应速度以及统计汇总的速度和精度。
2.2.3 经济性和实用性的原则。系统的设计实施尽量节省项目投资,具有较好的性能价格比,设计面向实际,注重实效,坚持实用、经济的原则,合理利用现有设备和信息资源。
2.2.4 先进性和成熟性的原则。在系统设计时,将充分应用先进和成熟的技术,满足建设的要求,把科学的管理理念与先进的技术手段紧密结合起来,提出先进合理的业务流程。系统将使用先进成熟的技术手段和标准化产品,使系统具有较高性能,符合当今技术发展方向,确保系统具有较强的生命力,有长期的使用价值,符合未来的发展趋势。
2.2.5 可靠性和稳定性的原则。在设计时采用了可靠的技术,系统各环节具备故障分析与恢复和容错能力,并在安全体系建设、复杂环节解决方案和系统切换等各方面考虑周到、切实可行,建成的系统将安全可靠、稳定性强,把各种可能的风险降至最低。
2.2.6 安全性和保密性的原则。在系统设计把安全性放在首位,既考虑信息资源的充分共享,也考虑了信息的保护和隔离;系统在各个层次对访问都进行了控制,设置了严格的操作权限;并充分利用日志系统、健全的备份和恢复策略增强系统的安全性。
2.3 框架结构
全国耕地质量大数据平台由网络硬件系统、数据存储管理系统、服务端系统、内网客户端系统、外网客户端系统组成(图1)。用户分为国家、省、市、县级行政领导,国家、省、市、县级专业技术人员和社会公众。行政领导通过内网专线访问全国耕地质量大数据平台,应用数据统计、分析、汇总、浏览以及成果輸出等功能;专业技术人员也是通过内网专线定期向全国耕地质量大数据平台上传、制作相关数据;社会公众通过手机短信、微信、数据客户端、触摸屏一体机、网页浏览器等方式通过外网浏览、查询全国耕地质量大数据平台发布的信息。内网与外网之间通过网闸隔离确保数据的安全。
2.4 系统开发环境
服务端系统采用Web Service结构进行开发,具体采用微软的WCF(Windows Communication Foundation)技术,开发环境为Microsoft Visual Studio 2010,开发语言为VB.NET和 C#等,地理信息系统环境为ArcEngine SDK和Arc Objects SDK。
客户端系统开发环境为Microsoft Visual Studio 2010,开发语言为VB.NET和C#等,地理信息系统环境为ArcEngine SDK、ArcGIS Runtime of .NET、ArcGIS Runtime of Java、ArcGIS Runtime of Android、ArcGIS Runtime of iOS等。不同的系统开发环境有所不同,其中ArcGIS Runtime of Android、ArcGIS Runtime of iOS用于开发用户移动手机端应用。
2.5 系统运行环境
服务端运行环境为.NET 3.5或以上版本、ArcGIS for Desktop、ArcGIS for Server、ArcEngine Runtime等。客户端根据不同的系统运行环境采用不同的工具软件,主要包括.NET 3.5或以上版本、ArcEngine Runtime、ArcGIS Runtime of .NET、ArcGIS Runtime of Java等。
2.6 数据库设计
全国耕地质量大数据平台包括耕地质量监测、耕地质量评价、测土配方施肥、土壤墒情监测等工作和项目的结构化数据、半结构化数据和非结构化数据。该平台数据量大、数据类型复杂、数据保密要求高,单一的、传统的数据库已经不能满足数据存储管理的要求,平台按照项目进行划分,根据不同工作、项目数据的特点分别使用不同类型的数据库软件和大数据管理软件对数据进行存储管理。采用Microsoft SQL Server、Oracle、Greenplum等数据库存储管理结构化数据;采用ArcSDE管理空间数据;Hadoop管理非结构化数据。
3 平台关键技术
3.1 数据规范与数据预处理
耕地质量评价项目数据由各项目单位采集,有的项目单位在实施项目没有使用规定的数据标准,这些数据进入耕地质量大数据平台前需要进一步规范处理。目前测土配方施肥数据采用SQL Server数据库存储管理,数据标准相对比较规范。耕地质量评价项目数据进入耕地质量大数据平台 Oracle数据库需要做数据预处理,其他项目数据也需要根据数据库的特点进行预处理。
3.2 硬件框架
服务器虚拟化可以提高资源的利用率,简化系统管理,实现服务器整合。将服务器物理资源抽象成逻辑资源,让一台服务器变成若干台相互隔离的虚拟服务器,不再受限于物理上的界限,且CPU、内存、磁盘、I/O等硬件可以成为动态管理的“资源池”,从而提高资源的利用率,简化系统管理。
3.3 构建全国地图
耕地质量大数据平台需要分别展示全国、省、地市、县、乡镇及以下级别的成果,构建全国地图需要应用ArcGIS Server 缓存服务。地图缓存服务就是能够利用静态图片快速提供地图的服务。ArcGIS Server 缓存服务由ArcGIS Server 预生成的一套地图图片快速显示,满足用户对地图的请求。构建全国地图首先需要制定缓存方案,缓存方案中如果等级过少、分配不合理、直接影响地图浏览效果,如果等级过多,工作量成几何倍数增加。制定一个科学合理的地图切片方案非常重要,国内外不同的地图服务提供商都有适合自己的切片方案。耕地质量大数据平台是参照Google、Bing、ArcGIS等公司的切片方案,按照表1方案进行切片,共20个级别。第0、1、2个级别在全国地图上一般不需要使用,为世界地图预留展示空间,这3个级别是否显示通过软件开发控制,第19个级别一般不使用,仅为特殊需求,做全国母图时预留。
具体全国地图制作流程:①制作国家级地图,并按照缓存方案进行发布,对所有级别进行切片;②分别省市、地市、县市、乡镇及以下级别地图,并按照缓存方案进行发布,对相应级别进行切片;③省市、地市、县市、乡镇及以下级别地图切片导出,导出后再分别导入到国家级地图中,覆盖国家级地图相应的级别和范围;④最终形成全国一张图。
3.4 功能模块
3.4.1 安全认证模块。为了确保数据安全,耕地质量大数据平台除了用户名和密码管理外还使用了软件狗进行认证,对数据上传、发布、编辑和删除操作需要验证软件狗,不插入软件狗或者软件狗验证不通过只能浏览数据,不能修改数据。
3.4.2 数据上报模块。数据上报模块分客户发送模块和服务端接收模块,由客户模块发出数据上报的请求,等待服务端接收模块响应并建立数据上传通讯,然后客户模块每次发送100 K二进制内容,服务端模块进行接收,直达文件传输结束。
3.4.3 地图发布模块。地图发布需要使用ArcGIS for Desktop的数据共享功能。ArcGIS中不提供相应的接口,如何实现程序后台自动发布是个技术难点。通过查阅大量的技术文档,发现可以通过执行Python脚本后台发布。首先根据上次的 MXD文件自动生成数据发布的Python脚本,再调用ArcGIS进程执行Python脚本,脚本执行完毕地图就自动发布成功。
3.4.4 地图浏览模块。全国耕地质量大数据平台(应用版)采用Microsoft Visual Studio 2010开发环境,Windows Presen-tation Foundation(WPF)框架,ArcGIS Runtime of .NET环境进行开发,实现了全国地图浏览查询的功能。
4 平台运行
4.1 行政领导
各级行政领导通过“全国耕地质量大数据平台(应用版)”客户端软件(图2)访问浏览全国耕地質量大数据平台中的数据。“全国耕地质量大数据平台(应用版)”分若干个专题地图展示全国耕地质量数据,每一个专题地图分20个等级的比例尺分别从国家、省市、地市、县市到乡镇及以下进行展示。全国耕地质量大数据平台已经生成14个专题图:土地利用现状图、农用地地块图、土壤类型图、行政区划图、耕地地力评价图、水稻适宜性评价图、小麦适宜性评价图、施肥方案推荐图、耕地地力调查点点位图、耕地土壤有机质含量分布图、耕地土壤pH值分布图、耕地土壤全氮含量分布图、耕地土壤有效磷含量分布图、耕地土壤速效钾含量分布图。
4.2 专业技术人员
各级专业技术人员通过“全国耕地质量大数据平台(管理版)”客户端软件(图3)访问浏览全国耕地质量大数据平台中的数据,定期上报、制作、更新相关数据。
4.3 社会公众
社会公众通过手机短信、手机微信、手机客户端、触摸屏一体机、网页浏览器等方式浏览、查询全国耕地质量大数(上接第298页)
据平台发布的信息。
5 应用情况与展望
全国耕地质量大数据平台一期工作已于2016年7月开发完成并投入运行,目前已有黑龙江、内蒙古、江苏等省(区)100多个县向全国耕地质量大数据平台上报了耕地质量评价和测土配方施肥有关数据。通过“全国耕地质量大数据平台(应用版)”软件可以查询耕地地力评价图、土壤有机质含量分布图、耕地土壤pH值分布图、耕地土壤全氮含量分布图、耕地土壤有效磷含量分布图、耕地土壤速效钾含量分布图等专题地图;通过“全国耕地质量大数据平台(手机APP)”软件可以查询区域地块的土壤理化性状、立地条件、土壤养分、施肥方案等信息;通过手机微信、手机短信可以查询这些区域具体地块的耕地经营权、地力等级、施肥方案等信息。通过与苏农集团、绿云科技等农企进行合作,全国耕地质量大数据平台为农企提供数据访问接口。全国耕地质量大数据平台将成为耕地质量数据采集、存储、管理、分析、应用的中枢,在我国耕地质量管理工作中发挥重要的作用。
6 参考文献
[1] 宋伟,陈百明,史文娇,等.2007年中国耕地资源安全评价[J].地理科学进展,2011(11):1449-1455.
[2] 马述忠,叶宏亮,任婉婉.基于国内外耕地资源有效供给的中国粮食安全问题研究[J].农业经济问题,2015(6):9-19.
[3] 傅泽强,蔡运龙,杨友孝,等.中国粮食安全与耕地资源变化的相关分析[J].自然资源学报,2001(4):313-319.
[4] 耕地质量调查监测与评价办法[J].中华人民共和国农业部公报,2016(7):4-6.
[5] 杜宇能.加拿大农业土壤信息服务平台评述及其对中国的启示[J].世界农业,2012(1):20-23.
[6] 曾志远.用土壤信息系统评价土地种植机动性的数学模型及应用[J].土壤学报,1993(3):312-323.
[7] 邹鹏.基于WebGIS的新疆耕地资源数据库的建设及其应用研究[D].乌鲁木齐:新疆农业大学,2012.
[8] BRON.The development of soil information system[J].the Journal of soil science,1987(38):267-277.
[9] 王万茂,黄贤金.中国大陆农地价格区划和农地估价[J].自然资源,1997(4):3-10.
[10] 张甘霖,龚子同,骆国保,等.国家土壤信息系统的结构、内容与应用[J].地理科学,2001(5):401-406.
[11] 杨瑾.土地信息系统及其设计[D].西安:西北大学,2000.
[12] 滕飞.基于地理信息系统的土地规划MIS系统[D].天津:天津大学,2006.
[13] 吴嘉平,胡义镰,支俊俊,等.浙江省1∶5万大比例尺土壤数据库[J].土壤学报,2013(1):30-40.
[14] 吴顺辉,甘海华,梁中龙,等.基于GIS的广东省土壤资源信息系统构建研究[J].土壤与环境,2001(4):307-310.
[15] 周斌,杨柏林,汪红强,等.贵州省土壤信息系统(GSIS)空间数据库的设计与建立[J].地质地球化学,2000(1):68-71.
[16] XZ S,DS Y,ED W,et al.Soil database of 1∶1,000,000 digital soil survey and reference system of the chinese genetic soil classification system[J].Soil Survey Horizons,2004,4(45):129-136.
[17] 史学正,于东升,高鹏,等.中国土壤信息系统(SISChina)及其应用基础研究[J].土壤,2007(3):329-333.
[18] 施建平,杨林章,潘贤章.中国土壤数据库数据整合面临的问题和解决方案[J].科研信息化技术与应用,2009(4):34-41.
[19] 张炳宁,张月平,张秀美,等.基本农田信息系统的建立及其应用:I.耕地地力等级体系研究[J].土壤学报,1999(4):510-521.
[20] 张月平,张炳宁,田有国,等.县域耕地资源管理信息系统开发与应用[J].土壤通报,2013(6):1308-1313.