大数据实验平台及资源建设的思考与探索

李　辉, 张　标, 高万林

(1. 中国农业大学 信息与电气工程学院, 北京　100083； 2. 中国农业大学 工学院, 北京　100083)



大数据实验平台及资源建设的思考与探索

李辉1, 张标2, 高万林1

(1. 中国农业大学 信息与电气工程学院, 北京100083； 2. 中国农业大学 工学院, 北京100083)

针对当前我国农业大数据人才需求与匮乏,明确了农业大数据本科实验教学建设的4个目标,同时从师资资源、学生意愿与校企联合3个方面论证了实验教学的可行性,提出了包含6部分内容的建设方案。该方案能够为我国其他农林院校的大数据本科教学提供很好的建设思路与经验。

农业大数据； 本科教学； 资源建设； 实验平台

1　开展农业大数据教学的形势分析

大数据对于农业来说,既是机遇,也是挑战,只有抢占大数据这一新时代信息化技术制高点,找准大数据技术在农业领域的发力点,才能充分发挥大数据优势[1]。农业大数据是指以大数据分析为基础,运用大数据的理念、技术及方法来处理农业生产销售整个链条中所产生的大量的数据,从中得到有用信息以指导农业生产经营、农产品流通和消费的过程[2]。农业数据应用作为农业大数据产业的落地点,呈现分析挖掘的数据价值,还原大数据结论反映的行业问题,即将农业大数据应用在粮食安全、土土地整理、病虫害防治、动植物育种、农业结构调整、农产品价格、农副产品消费等领域,解决农业生产过程遇到的诸多问题[3-4]。

农业数据是非常复杂的,具体表现在数据源分布广、可控度低、受干扰大、类型多样、结构复杂和获取困难等,由此导致了我国农业大数据应用面临着诸多挑战和问题[5]。首先,大数据研究普遍存在着“只有数据、没有利用”的问题,导致搜集数据、存储数据付出的成本被浪费[6]。其次,数据类型单一,只有结构化数据,半结构化和非结构化数据缺失导致数据的不完整[7]。同时,缺乏农业现代化与信息化的深度融合,区域视角缺乏全国视角。最后,技术平台只是采用业界流行的Hadoop和MapReduce等开源软件简单堆砌,很难保证未来的适应性。

目前专门从事数据科学与应用研究的人才紧缺,大数据人才的招募、培养、使用是农业大数据研究面临的最大挑战[8]。大数据产业的发展对大数据人才提出了新的需求,国内各高校在积极进行大数据学术研究的同时,也开始考虑将大数据相关课程纳入培养体系,以满足社会对大数据人才的需求[9-10]。在我国,除了以山东农业大学为首的农业大数据产业技术创新战略联盟之外[11],我们还看到了江苏省大数据分析技术重点实验室(http//bdat.muist.edu.cn/index.asp)和中国科学院大学大数据分析实验室(http//ceit.ucas.ac.cn/index.php?id=263)等陆续成立。

我校作为中国农业院校的一员,在大数据大潮来临之际集中全力建立农业大数据实验室已经是时不我待,同时借助我校在农业领域雄厚的积累以及联合业界优秀的企业共同建立农业大数据实验室,并将农业大数据的实验教学尽快纳入本科生的培养体系之中,才能确保我校可以在农业大数据领域“后来者居上”,打造出国家级的大数据重点实验室和在农业大数据领域的领先地位。

在人才培养中,结合农业行业的相关应用特点的实验教学是关键环节,为满足农业行业的人才技能要求,需要在本科的相关学科教学中,强化基于真实农业行业相关数据的实验教学环节。首先,立足信息与电气工程专业,面向全校本科生大数据教学,分验证性、设计性、创新拔高3个层次设置实验,确保学校各个专业的学生可以通过此课程大致了解大数据发展的新趋势、新动向及其对于现代农业的影响和意义。其次,信息技术的发展为丰富教学手段提供了可能,通过开放共享的慕课和大数据实验室的资源,与其他农业兄弟院校积极开展农业大数据的教学、科研等工作,全面提高整个农业院校的科技现代化教育水平[12]。

2　农业大数据本科实验教学建设目标

按照“厚基础、宽口径、重实训实践、重交叉融合”等要求,科学设立大数据人才培养方案,培养既熟悉数据分析又具备相关业务知识的复合型人才[13]。开设面向本科的农业大数据的实验教学,能够让学生了解大数据分析的技术原理和实现方式,以及掌握大数据对于农业相关专业所能带来的帮助甚至变革,为此需要达成以下4个建设目标：

目标1:建设业界领先的大数据实验室,结合学校在农业领域的丰厚积累和宝贵资源,以“大数据技术及应用概论”公共课让各专业本科生都可以受益,成为其他农林院校大数据实验室建设的样本,进而成为国家级农业大数据重点实验室。

目标2:建设融合“农业行业经验+业界最新技术+丰富实验教学实践+业界实际案例”四位一体的新一代农业大数据实验教学平台。此平台应随着大数据技术的发展和农业实际案例的不断发展持续迭代更新,保证其教学内容与时俱进,最大限度避免传统教学知识陈旧的现象出现,为农业现代化、信息化与国际先进技术接轨和同步，奠定良好的基础。

目标3:应用先进的“互联网+教育”的线上线下相结合的教学模式,迅速扩大农业大数据实验课程的覆盖范围,其中的重点就是要在上述的农业大数据实验教学平台基础之上建立相应的“大数据技术及应用概论”精品课程,包含导学课程、慕课课程、翻转课堂、实际案例教学材料、教师案例实验用书、学生案例实验用书、测试题目、FAQ答疑等相关教学工具及教学辅助材料。

目标4:由应试教育向以学生就业和社会实际需求为前提的方向转变,针对农业经济、农业气象、生物信息、食品营养、食品安全、食品风险监测、动物疫情等专业的实际案例，编写大数据的行业应用范例教学材料,可以考虑分期实施,并根据需要进行适当的扩充和进一步优化。

3　农业大数据本科实验教学的可行性分析

为了达成面向本科生的大数据实验课程目标,我们采用的是业界先进的平台和贴近农业实际的相关案例分析,充分考虑技术和专业的融合,从而保证课程的可行性和有效性。考虑到我校学生除了信电学院学生，其他学院的学生均是非计算机相关专业学生,因此课程的设计充分考虑其广泛适用性,特将此课程细分为农业大数据技术应用型和农业大数据技术开发设计型两类课程。

我校有着丰富的各种资源及经验,在课程建设与改革中对全国农林院校的发展具有重要作用与影响。首先，师资队伍是保证教学质量、实现专业可持续发展的关键，由农业大数据本科实验教学的可行性分析框架(见图1)可以看出,我校在师资资源方面有充分的保障,其次是学生对于之前开设的相关大数据课程较为感兴趣,乐于拥抱大数据技术,关键是校企联合保证了农业大数据实验室的先进性和适用性,真正能够解决实际问题,因此在我校进行农业大数据本科实验教学完全可行。

4　农业大数据本科实验教学建设方案

基于农业大数据本科实验教学的建设目标和可行性分析,提出了建设方案(见图2)。实验教学建设方案主要包括农业大数据源数据、农业大数据实验室软硬件平台、农业大数据实验室教学资源开发、大数据实验平台设计方案和大数据实验案例教学开发6个方面的内容。

图1　农业大数据本科实验教学的可行性分析框架

图2　农业大数据本科实验教学建设方案

4.1农业大数据源数据包

数据是大数据分析的基础,主要包含农业经济、农业气象、生物信息等数据来源。数据来源多种多样,数据类型除了来自各个应用系统的传统意义上的结构化数据、半结构化数据之外,更多的是非结构化数据来源,这些是农业大数据平台的原材料,我们将这些数据统一称为裸数据(rawdata)。

4.2农业大数据实验室硬件平台

大数据分析必须要硬件平台做支撑,农业大数据实验室硬件平台包括服务器、存储设备、客户机、网络、投影仪和大屏幕等硬件,这些是农业大数据软件平台的硬件基础。

4.3农业大数据实验室软件平台

农业大数据实验室软件平台主要包括数据准备、数据处理、数据建模与展现等软件平台。

(1) 数据准备。与商业智能类似,如果数据需要通过大数据平台进行处理,数据的前期准备工作就变得十分重要,数据的抽取、清洗、转换和加载就相当于对于原材料进行粗加工,以便为大数据处理的大餐做好充分的前期准备。此阶段主要采用的工具是ETL(extract,transformandload)。

(2) 数据处理。此阶段是大数据的核心功能,通过ETL工具准备好的数据首先存储到分布式文件系统之中(例如:Hadoop的文件系统HDFS或相应生态系统的类似文件系统),然后用一系列商业智能分析工具(主要针对结构化)和SPARK之类的内存分析工具(主要针对非结构化数据)对数据进行分析和处理,从而达到数据挖掘和价值发现的目的,到了这一步,才实现了数据变为有意义的信息的一步。

(3) 数据建模与展现。经过数据处理中的对于数据的精加工处理之后,数据的价值就可以通过进一步的建模工具、报表工具、数据可视化等工具从不同的维度进行深度的数据挖掘、决策支持等工作,将大数据针对某一个行业或者某一个应用场景进行定制化的二次开发,从而最终得到对于用户真正有价值的知识,这一步是信息变为知识的关键一步。

4.4农业大数据实验教学资源开发

树立实践育人理念,多渠道开发实践教学资源。农业大数据实验教学资源开发主要是教学案例开发,包含农业相关专业的数据、模型开发、数据可视化及说明等内容。农业大数据实验教学资源开发主要包括大数据应用实验课程、大数据设计开发实验课程。农业大数据实验课程慕课开发,将部分知识讲解通过慕课制作为线上课程,供学生预习使用。农业大数据实验教材开发,针对两门课程的实验教师用书和学生用书的编写。

根据大数据的架构描述,结合我校即将开展的面向本科生的大数据实验教学课程,需要进行相应6点教学准备:

(1) 搭建本科大数据实验平台；

(2) 设计农业相关专业和学科的大数据案例教学用例；

(3) 编写本科大数据实验教材；

为解决我国水资源短缺的问题，需对当地的可用水源进行挖掘，升级改造现有管道，改变原有管道狭窄的情况，增加供水量。同时，兴建、维修人畜饮水工程，对天然降水、沟道水进行净化处理，并做好水资源的储备工作。政府应制定相应的资金筹集计划，为人畜用水工程的建立与维修提供资金支持[3]。建立健全水源地保护办法，严禁农民群众在水源地进行畜禽养殖、堆放垃圾、施用有害肥料等，对水体物理、化学特征、毒理学等指标进行检验，建立相应的水质净化实验室，水厂中要设置化验室对水质安全进行检测，从而有效确保水质的安全。

(4) 编写本科大数据实验课件和教师用书；

(5) 编写本科大数据实验学生用书；

(6) 设定本科大数据实验考核标准和相关测试项目或题目。

其中第一项和第二项是整个实验教学的核心保障,否则实验课程只能是纸上谈兵,很难确保课程教学目标的达成和学生的学习效果。

4.5大数据实验平台设计方案

大数据实验平台的搭建以多节点集群服务器平台作为农业大数据实验的硬件平台,提供大数据计算和分布式存储平台,以Hadoop商业文件系统DataHearts文件系统作为大规模数据的分布式存储平台,以SPARK内存分析和MapReduce构成大数据的处理平台(见图3)。

图3　大数据实验平台设计方案

这种平台架构的设计优势有6点:

(2) 灵活的数据模型可以支撑99.9%以上的SQL接口,大大降低数据接口难度,同时支持结构化和非结构化数据类型；

(3) 高度集成的系统,无需多种技术混杂在一起的堆砌模式所带来的管理的复杂性和签字的性能问题；

(4) 高性能,采用了增强式的文件系统结合内存分析平台，大大提高了数据处理和分析速度；

(5) 高可用,采用群集和对等架构(P2P)大大消除了单点故障带来的故障风险；

(6) 易管理,基于GUI的管理模式大大降低管理难度。

4.6大数据实验案例教学的开发

为了让学生能够对大数据在农业相关专业的具体的应用场景和所能起到的关键作用有感性和理性的认识,了解大数据作为当今世界先进的技术对于传统农业升级为现代农业的巨大促进作用,在大数据实验平台上针对相关农业的专业方向提供相应的实际案例是非常必要的，其中应该包含但不仅限于农业经济大数据案例、农业气象大数据案例、生物信息大数据案例、食品营养大数据案例、食品安全大数据案例、食品风险监测大数据案例、动物疫情大数据案例等。

对于案例的设计和研发,建议本着“总体设计、分步实施”的原则,成熟一个就应用于教学,通过教学反馈快速迭代后续案例的开发,从而在始终保证案例的真实性、可用性和有效性的同时不失先进性。案例研究能够很好地将大数据的理论、实验平台和实际的应用案例相结合，从而达到学以致用的目的。面向本科生的农业大数据应用和开发设计实验课程内容安排描述见表1。实验课程共包括验证型、设计型和创新型3个类型,29个实验任务。通过这些实验能够让本科学生较为全面地掌握农业大数据基本分析方法与应用,从而为解决实际问题打下良好基础。

表1　实验课程类型与实验内容描述

5　结语

以我校为例,明确了农业大数据本科实验教学建设的目标,基于建设目标详细分析了实验教学的可行性,在此基础上,提出了农业大数据本科实验教学的建设方案。结合实际情况,初步建立起面向我校70多个专业的大三或者大四学生(每届学生约2 800人)的农业大数据应用和设计开发的实验教学活动。随着此实验教学的持续展开,越来越多的学生不但可以开阔视野、丰富知识,同时也可以有效激发学生对于新技术的兴趣,从而成为我国农业教育的领航者。

References)

[1] 王文生,郭雷风.农业大数据及其应用展望[J].江苏农业科学,2015,43(9):1-5.

[2] 张浩然,李中良,邹腾飞,等.农业大数据综述[J].计算机科学,2014,41(增刊2):387-392.

[3] 谢润梅.农业大数据的获取与利用[J].安徽农业科学,2015(30):383-385.

[4] 许世卫,王东杰,李哲敏.大数据推动农业现代化应用研究[J].中国农业科学,2015,48(17):3429-3438.

[5] 孙忠富,杜克明,郑飞翔,等.大数据在智慧农业中研究与应用展望[J].中国农业科技导报,2013(6):63-71.

[6] 郭承坤,刘延忠,陈英义,等.发展农业大数据的主要问题及主要任务[J].安徽农业科学,2014(27):9642-9645.

[7] 光峰,姚程宽,王维进.农业领域大数据的应用研究[J].洛阳师范学院学报,2015(8):75-77.

[8] 宋长青,牟少敏,周虎,等.农业大数据研究中心的建设、研究与实践[J].中国现代教育装备,2015(3):8-11.

[9] 黄晋.关于大数据人才培养的思考与探索[J].教育教学论坛,2014(45):201-203.

[10] 王文奇,刘保县,宗莲松,等.基于学生综合能力培养的工科创新型实验探索与实践[J].实验技术与管理,2015，32(9):26-29.

[11] 宋长青,高明秀,周虎.高等农业院校农业大数据研究现状及发展思路[J]. 中国农业教育,2014(5):16-20.

[12] 饶震红,杜凤沛.从提高科技竞争力视角思考本科生实验教学内涵建设[J]. 实验技术与管理,2015,32(12):13-15,29.

[13] 陈桂龙.九三学社中央:加强大数据人才队伍建设[J].中国建设信息,2015(7):21.

Thinkingandexplorationonconstructionofbigdataexperimentalplatformandresources

LiHui1,ZhangBiao2,GaoWanlin1

(1.CollegeofInformationandElectricalEngineering,ChinaAgriculturalUniversity,Beijing100083,China；2.CollegeofEngineering,ChinaAgriculturalUniversity,Beijing100083,China)

Abstract:Inordertosolvetheseriouschallengethatagriculturalbigdatatalentsareveryscarcity,fourobjectivesoftheconstructionofundergraduateexperimentaleducationofagriculturalbigdataweredefined.takingChinaAgriculturalUniversity(CAU)asanexample.Meanwhile,thefeasibilityonmakingeducationexperimentswasprovedfromteacherresources,student’sintentionandschool-enterprisecooperation.Finally,theconstructionschemeofthesixpartswasproposed.Itcanprovideagoodideaandexperienceforundergraduateeducationinotheragriculturalandforestrycollegesanduniversities.

agriculturalbigdata；undergraduateteaching；resourcesconstruction；experimentalplatform

DOI:10.16791/j.cnki.sjg.2016.07.049

2016-01-26修改日期：2016-03-21

中央高校基本科研业务费专项资金(2016XD002)；国家社会科学基金项目(11AZD095)；公益性行业(农业)科研专项(201303106)

李辉(1978—),男,安徽阜阳,博士,讲师,从事信息系统与大数据技术在农业中应用研究.

E-mail：caulihui@cau.edu.cn

G642.0

A

1002-4956(2016)7-0195-05