基于Spark平台的农作物施氮量信息采集系统设计

摘" 要： 当前采集农作物施氮量信息的方式仍以人工采集为主，效率低下且对于不同生长阶段农作物氮肥的使用量无法准确掌控，为此提出一种基于Spark平台的农作物施氮量信息采集系统。按照Spark平台的要求设计施氮量信息采集系统的整体框架和硬件结构，其中系统的主控模块与工作模块的结构设计相同，区别在于MUC单元的主频;硬件结构除了MUC主控芯片外，还包括无线通信模块、电源管理模块、数据存储模块、显示器及RS 485通用性兼容接口。给出系统的信息采集流程、监测数据分析流程及数据库管理流程，并分析采集信息系统数据库内部的数据表类别。实验结果表明，提出的农作物施氮量信息采集系统设计在信息采集响应时间上具有较大的优势，并有助于提高农作物的单亩产量，降低种植投入成本。

关键词： Spark平台; 农作物; 施氮量; 信息采集; 数据分析; 数据库管理

中图分类号： TN911.2⁃34; TP393" " " " " " " " " "文献标识码： A" " " " " " " " " " 文章编号： 1004⁃373X（2019）21⁃0110⁃06

Abstract： At present， the main way to collect information of crop nitrogen fertilization rate is manual collection， which is inefficient and difficult to control the amount of nitrogen fertilizer used in different growth stages of crops. Therefore， a design scheme of crop nitrogen application information acquisition system based on Spark platform is proposed. The overall framework and hardware structure of nitrogen application information acquisition system are designed according to the requirements of Spark platform. The main control module of the system has the same structure as the working module， and their difference lies in the main frequency of the MUC unit. The hardware structure includes wireless communication module， power management module， data storage module， display and RS 485 universal compatible interface besides the main control chip of the MUC unit. In this paper， the information acquisition process， monitoring data analysis process and database management process of the system are given， and the types of data tables in the database of the information acquisition system are analyzed. The results show that the design scheme of information acquisition system for crop nitrogen application has great advantages in response time of information acquisition， and can improve crop acre yield and reduce the cost of crop planting.

Keywords： Spark platform; crop; nitrogen fertilization rate; information acquisition; data analysis; database management

0" 引" 言

氮素肥料是农作物成长中必不可少的营养元素之一，尤其在调节农作物花量及农作物杂交制种过程中发挥着更为重要的作用[1⁃2]。每一种农作物不同生长阶段对于氮肥的需求量都不同，因此对于农作物而言，不同生长期内氮素肥料的使用量有着严格的标准和要求，氮素肥料施用量过高或过低都会影响到农作物的产量，对农作物的成长阶段信息和施氮量信息的采集与控制至关重要[3⁃4]。而当前对于农作物施氮量信息的确定以专家采样的方式为主，效率低下、成本较高[5⁃6]，而且对于农作物施氮量信息仅能够确定一个大致范围，不能够精确到一点。为准确地把握农作物生长周期范围内的施氮量信息，本文设计一种基于Spark平台的农作物施氮量信息采集系统，采用更加智能化的方式确定出农作物在不同成长期内的氮素肥料需用量。Spark平台在处理海量大数据中具有显著优势，在数据处理中，Spark平台除了具有Hadoop平台强大的并行计算能力之外[7⁃9]，在数据的优化迭代和全局寻优方面具有更大的优势，还能够将采集到的信息暂时存储于自带的内存系统中。在确定农作物的施氮量过程中，要对农作物的生长情况、植株密度等信息做复杂的大数据分析和运算，能够保证施氮量的控制精度。本文基于Spark平台框架设计了施氮量采集系统的硬件部分和软件算法实现流程，并通过实验验证了系统的适用性和有效性。

1" 基于Spark平台的施氮量信息采集系统总体框架设计

Spark云计算平台在海量农作物施氮量信息处理中具有明显的优势，但平台在投入使用前需要按照数据并行计算的要求调整Hadoop网络的总体拓扑结构，以及云平台的各类关键参数，以提高平台的总体性能、数据的并行计算能力和计划指令的执行能力[10⁃11]。在采集系统总体结构设计中，系统将农作物生长阶段的Stream数据按时间维度分成若干部分，这种数据处理方式除了具有较强的逻辑计算能力之外，在批量数据处理时效率更高。为适用多场合的数据挖掘和分析应用，基于Spark云平台的信息采集系统在硬件设计与程序设计中，都引入了序列化的数据加载机制，也可以在Java虚拟机上单独运行[12⁃13]，提高系统运行的灵活性。基于Spark云计算平台的农作物施氮量数据采集系统的总体架构如图1所示。

Spark平台是在Hadoop平台基础上研发的功能更为完善的大数据分析平台，基于弹性分布式数据处理理念，可以将采集到的农作物施氮量信息临时存储于采集系统的工作模块中，而不再需要进行复杂的I/O重复操作，从而强化了数据的迭代泛化能力，提高了对农作物信息采集的精度和分析能力。

2" 信息采集系统硬件设计

基于Spark平台设计的农作物施氮量采集系统的信息采集主控模块与多个工作模块的硬件配置相同，相对于工作模块而言，主动模块MCU的主频更高，同时内存也更大。每一个工作模块子系统的硬件部分都以MCU主动单元为核心模块，选用意法半导体的STM32F103型号芯片。其他硬件模块包括电源管理模块、无线通信模块、RS 485通行性串行接口、能够外接SD卡的数据存储模块及农作物施氮量采集信息显示模块。MCU直接与无线数据传输模块连接，无线数据传输模块内有双频D⁃GPS定位功能，能够判定农作物信息采集系统的具体位置，并通过无线传输网络将采集到的信息传递给主控模块。采集到的农作物信息通过无线网络传输给MCU单元后，系统具有数据信息分析处理功能和数据存储功能，如果数据存储模块的内存空间不足，可以通过外置SD卡的形式提高存储模块的容量。由于采用了通用型的接口，在设备安装时可以实现免驱动安装，更适合户外作业的复杂情况。MCU主控芯片的接口类型为RS 485，通过485主线与无线通信模块、电源管理模块、数据存储模块及显示模块连接，分析处理后农作物施氮量数据通过显示模块输出。硬件系统在使用前通过指定的无线网络协议将采集要求发送到服务器系统，开始设定MCU主动芯片的各种参数、服务器地址、接收信息的时间间隔等信息，使系统进入待工作状态，系统硬件的总体构成如图2所示。

基于Spark平台农作物施氮量信息采集子工作系统采用分布式的拓扑结构，子系统之间通过无线网络可以建立连接，每一个子系统都与主控系统连接。每一个子系统内部的功能模块以MCU单元为中心通过485总线连接为一个整体，其中MCU STM32F103型主控芯片是整个子系统的核心部分，为了控制子系统芯片的采购成本，芯片主频要略低于主控芯片。通用型STM32F103主控芯片的部分电路结构如图3所示。

为灵活配置MCU芯片电路中的各种参数，技术人员需要根据主控芯片的参数配置需求，调整其他模块的参数。主控芯片上的连接电路主要包括RS 485主线的显示电路、拓展FLASH电路和显示模块电路。为保证芯片电压和电流的稳定性，RS 485主线接口都采用了高安全性的兼容接口，具有数据传输效率高、抗干扰能力强的特点。农作物施氮量信息采集系统的RS 485主线接口电路结构如图4所示。

农作物施氮量信息采集系统的无线数据传输模块部分采用了美国高通公司最新的无线传输协议，该模块内置了GPRS功能和EDGE功能，也可以利用4G网络进行数据传输。无线传输模块采用MINIRS485主线接口支持信息发送与信息接收的合并技术，实现传输信号的无断点传输，可以有效降低信息采集和传输中的误码率。相对于传统的Hadoop平台，基于Spark平台的农作物施氮量信息采集系统的主控模块和子系统模块内部都集成了数据存储功能，防止由于数据传输不及时而导致采集数据丢失。由于信息采集系统的空间限制不能够安装过大的存储装置，数据存储模块可以外接SD卡并可以实现免驱动安装，数据存储模块的使用寿命及其接口的使用寿命可长达10年，可以反复读写数据5万次。农作物施氮量信息采集系统的显示器模块采用JDI公司的LCD显示屏，由于LCD显示屏在强光下能够激发出更高的亮度，且寿命长于LED显示屏，屏幕的尺寸为10.5寸。采集系统的显示器模块电压输出采用3.6 V直流供电，以保证显示模块的稳定性。信息采集系统显示器模块也通过485总线与STM32F103型主控芯片连接，显示模块的基础性电路结构如图5所示。

对整个信息采集系统的电路工作情况及模块的功能性进行系统分析和检验，并调整和验证各主要功能模块的PTB连接情况。为了保证系统硬件部分功能的完整性，同时还要对除MCU芯片之外的其他模块的参数进行验证，特别是要防止农作物信息传输时产生过多的电磁干扰，影响信息采集的准确性。在完成农作物施氮量信息采集系统硬件设计的基础上，再基于Spark平台设计各功能模块的工作流程。

3" 农作物施氮量采集系统的软件实现流程

Spark平台下农作物施氮量采集系统总体功能的实现流程包括农作物信息的采集与实时监测、农作物施氮量监测数据的分析与处理及数据库管理。其中，信息的采集与监测流程是系统最重要的子程序，信息的采集与检测流程如图6所示。

采集程序开始执行后先将模块程序初始化，并根据不同的采集需求、农作物类别、植株密度等调整好采集模块的参数。系统管理输出登录账号和密码进行系统登录，如果采集子系统的登录信息不正确直接结束程序。位于终端的工作模块可以被均匀地布置在待检测的农作物区域，为保持监测数据的准确性，可以分时段进行多次采样并取平均值。由于工作模块也内置MCU单元，因此系统在采样的同时还能够对同一区域的冗余干扰数据进行监测，并将有用的数据通过无线网络传递给系统的主控模块。根据采集区域的面积可以布置多个工作模块，每一个模块都有其固定的工作半径范围，如果超出半径范围，数量采集的精度将会降低。系统在进行无限传输之前需要确定能否对采集到的样本数据进行无线传输，若无线网络连接较好，则直接通过无线网络进行采集数据的传输;若户外环境的网络条件较差，则需要先将采集到的数据存储于工作子系统的数据存储模块中，如果数据包过大还可以通过外接的SD卡扩容。如果在网络环境较差的条件下传输采集到的数据可能会导致关键数据的丢失。

农作物施氮量采集数据的分析与处理程序主要是对一定采集周期内的数据进行汇总和分析，数据监测的目的是保证采集数据的一致性和准确性。系统管理员按照系统界面的提示要求，可以选择实时数据监测或数据刷新，将分析处理完毕的原始农作物施氮量数据输入数据库系统。信息采集系统自带数据库功能，数据库分类储存每一种农作物在不同生长周期内所需要的氮肥标准指标，并以对象为基础性的分类标准，对采集到的实时数据进行筛选和比对。信息采集系统的数据库是一种面向对象而动态调整的数据库，基于被监测农作物的种类和对象的特征数据，准确识别出农作物生长阶段中的标准施氮量。信息采集系统中每一个工作模块都能够临时存储采集数据，但由于系统自带存储模块空间有限，应在一定时间内将全部数据导入数据库，以实现对农作物施氮量信息的横向对比。考虑到采集系统构建的成本控制问题，本文选用了维护费用更低的MySQL型数据库，提拱了更多种类的表格样式，也能够通过表达之间的通用字段，实现对关键农作物信息的串联查找，操作更为便捷。MySQL型数据库中所包括的数据表类型如表1所示。

数据库模块及数据库表的设计以满足农作物施氮量采集系统的需求为最终目的，字段的长度及表格的样式都具有很大的弹性，可以针对用户的需求对表格之间的关系、查询方式、搜索方式与连接方式做出任意的调整。例如，可以根据采集片区的大小，增大或缩减数据库的规模。在主控程序的执行方面，本文设计采集系统软件实现流程具有操作简单、易用的特点，按照系统界面的信息提示，用户可以选择开始采集、数据监测等功能，系统的LCD显示模块提供实时的采集结果显示;采集到的农作物数据资料都保留有时间戳，用户输入查询条件后，可以在数据库中查询到一段时间内农作物施氮量的详细记录，为使用者的决策提供数据上的支持。本文详尽分析和阐述了基于Spark平台的农作物施氮量信息采集系统的硬件构成与软件实现流程，为检测信息采集系统的实际应用效果，进行了一组信息采集测试，并提取了相关的农作物施氮量采集与监测数据。

4" 系统测试与应用效果分析

4.1" 系统的安全性及兼容性测试

由于农作物施氮量信息采集系统的数据传输采用了无线远程传输方式，需要先对无线网络传输的安全性进行检测，防止在农作物施氮量采集数据的传输中被入侵，或由于环境干扰和电磁干扰而导致关键数据的丢失。本文无线传输协议按照IEEE 802.11b局域网标准执行，对系统硬件的无线传输模块、基带版本、软件运行程序进行全方位的测试与检验。为保证系统的安全性，全部测试模块都进行加密处理，系统管理员也采用账号密码的方式登录;此外，在查询数据的提取与SQL服务语句的使用方面，也需要先登录再操作;上传数据或采用外接设备连接时都需要进行数据扫描或登录验证。

兼容性测试包括硬件模块之间的兼容性检测、接口及RS 485总线的兼容性检测和软硬件之间的兼容性检测。主控模块与子模块之间的硬件配置相同、无限网络传输协议也相同，提高了系统模块之间的兼容性。数据采集系统主服务器与子服务器、Web服务器之间的通信协议也需要采用同一标准，浏览器的版本需要选用IE9.0以上的版本，进一步提高系统兼容性。系统的测试环境与需要的设备数量如表2所示。

本文基于Spark平台的信息采集系统在白天时段的系统响应时间基本上能够控制在10 s之内，仅在17：30的时段出现过一次响应波动;而在夜间采集时段由于夜视环境下能见度较低，各时段的平均信息采集响应时间维持在20.5 s，高于白天时段，但总体的稳定性表现良好。传统农作物施氮量信息采集系统的响应时间如图8所示，日间时段的平均采集响应时间超过了30 s，这主要是由于人工采样的时间较长，从采样现场到主动中心的数据无线传输效率也低于本文系统。而在夜间时间信息采集系统的响应时间呈现出了锯齿形的剧烈波动，表明采集系统在夜间连续信息采集方面表现较差，由于系统信息采集响应时间的不稳定，也会直接导致采样数据不准确。

农作物施氮量信息采集的最终目的是按照科学的标准准确地管理不同阶段农作物的施肥量，以更好地保证农作物的生长。本文实验选取了10个不同的水稻种植区域，考量应用本文农作物施氮量信息采集系统后，水稻农作物的亩产情况及氮肥的使用成本变化情况统计结果如表3所示。

由于农作物在不同生长阶段的生长习性不同，施氮量也并非越多越好，因此应基于农作物的生长状况信息科学地制定施氮量标准。从上述10个不同的水稻种植区域的产量情况来分析，采用基于Spark平台的信息采集系统控制施氮量，对于作物的生长与产量提升具有明显的推动作用，亩产量均超过了平均亩产标准，同时氮肥使用量也有所减少，降低了农作肥料成本，同时提高了农作物种植的经济效益。

5" 结" 论

采用更为科学的方式种植经济作物，并利用计算机网络系统和现代电子技术控制作物的生长，已经成为现代农业发展的主要趋势之一。本文基于Spark开发平台设计了一种农作物施氮量信息采集系统，能够更科学地掌握农作物的生长习性并更加合理地使用氮肥，从而达到事半功倍的效果。

参考文献

[1] 金斌斌，邵孝侯，徐朝辉，等.控灌中蓄及减量施肥对稻田氮素动态的影响[J].水利水电科技进展，2017，37（3）：84⁃88.

JIN Binbin， SHAO Xiaohou， XU Chaohui， et al. Effects of storage and reduction fertilization in controlled irrigation on nitrogen dynamics in paddy fields [J]. Progress in water resources and hydropower science and technology， 2017， 37（3）： 84⁃88.

[2] 刘新英，殷鉴，李寒，等.CO2与氮肥交互作用的番茄光合速率预测模型[J].农业机械学报，2017（z1）：334⁃337.

LIU Xinying， YIN Jian， LI Han， et al. Prediction model of photosynthetic rate of tomato under the interaction of CO2 and nitrogen fertilizer [J]. Journal of agricultural machinery， 2017（S1）： 334⁃337.

[3] 王美，赵广才，石书兵，等.氮肥底追比例及施硫对小麦氮素吸收利用的调控[J].核农学报，2017，31（5）：954⁃963.

WANG Mei， ZHAO Guangcai， SHI Shubing， et al. Regulation of nitrogen uptake and utilization by wheat by bottom dressing ratio of nitrogen fertilizer and sulfur application [J]. Journal of nuclear agriculture， 2017， 31（5）： 954⁃963.

[4] 李鹏程，郑苍松，孙淼，等.利用15N示踪研究不同肥力土壤棉花氮肥减施的产量与环境效应[J].植物营养与肥料学报， 2017，23（5）：1199⁃1206.

LI Pengcheng， ZHENG Cangsong， SUN Miao， et al. Using 15N tracer to study the yield and environmental effects of nitrogen fertilizer reduction on cotton in different fertility soils [J]. Journal of plant nutrition and fertilizer， 2017， 23（5）： 1199⁃1206.

[5] 魏全全，赵欢，周开芳，等.15N示踪探究黄壤区稻⁃烟模式烤烟氮素的积累[J].西南农业学报， 2018（2）：347⁃353.

WEI Quanquan， ZHAO Huan， ZHOU Kaifang， et al. 15N tracer study on nitrogen accumulation in Flue⁃cured Tobacco under Rice⁃Tobacco model in yellow soil region [J]. Journal of southwest agriculture， 2018（2）： 347⁃353.

[6] 庆海涛，李刚.智库专家评价指标体系研究[J].图书馆论坛， 2017，37（10）：22⁃28.

QING Haitao， LI Gang. Research on expert evaluation index system of think tank [J]. Library forum， 2017， 37（10）： 22⁃28.

[7] 谭台哲，向云鹏.Hadoop平台下海量图像处理实现[J].计算机工程与设计，2017，38（4）：976⁃980.

TAN Taizhe， XIANG Yunpeng. Implementing massive image processing on Hadoop platform [J]. Computer engineering and design， 2017， 38（4）： 976⁃980.

[8] 郝天轩，张春林.基于Hadoop平台的瓦斯突出预测预警方法研究[J].中国安全科学学报，2017（11）：61⁃66.

HAO Tianxuan， ZHANG Chunlin. Research on prediction and early warning method of gas outburst based on Hadoop platform [J]. Chinese journal of safety sciences， 2017（11）： 61⁃66.

[9] 吴云蔚，宁芊.基于Hadoop平台的分布式SVM参数寻优[J].计算机工程与科学，2017，39（6）：1042⁃1047.

WU Yunwei， NING Qian. Parameter optimization of distributed SVM based on Hadoop platform [J]. Computer engineering and science， 2017， 39（6）： 1042⁃1047.

[10] 杨鑫.基于云平台的大数据信息安全机制研究[J].情报科学，2017，35（1）：110⁃114.

YANG Xin. Research on information security mechanism of large data based on cloud platform [J]. Information science， 2017， 35（1）： 110⁃114.

[11] 赵宏林，廉小亲，郝宝智，等.基于物联网云平台的空调远程控制系统[J].计算机工程与设计，2017，38（1）：265⁃270.

ZHAO Honglin， LIAN Xiaoqin， HAO Baozhi， et al. Air conditioning remote control system based on Internet of Things cloud platform [J]. Computer engineering and design， 2017， 38（1）： 265⁃270.

[12] 崔炳荣，刘亮，甘杰，等.Java卡虚拟机的安全攻击技术及防御技术研究[J].电子技术应用，2017，43（10）：12⁃15.

CUI Bingrong， LIU Liang， GAN Jie， et al. Research on security attack technology and defense technology of Java card virtual machine [J]. Electronic technology application， 2017， 43 （10）： 12⁃15.

[13] 谭杰，张富春.基于互联网技术的大棚智能农业监测控制系统研究[J].电子设计工程，2018，26（4）：38⁃42.

TAN Jie， ZHANG Fuchun. Study of intelligent agricultural monitoring and control system for greenhouse based on internet technology [J]. Electronic design engineering， 2018， 26（4）： 38⁃42.