边缘计算在智慧农业中的应用现状与展望

2023-01-12 13:28黄成龙柯宇曦华向东杨俊雅孙梦雨杨万能
农业工程学报 2022年16期
关键词:树莓边缘部署

黄成龙,柯宇曦,华向东,杨俊雅,孙梦雨,杨万能

边缘计算在智慧农业中的应用现状与展望

黄成龙1,柯宇曦1,华向东1,杨俊雅1,孙梦雨1,杨万能2

(1. 华中农业大学工学院,武汉 430070;2. 华中农业大学作物遗传改良国家重点实验室,武汉 430070)

互联网技术快速发展使得数据量剧增,云计算的数据集中处理模式存在实时性不足、能耗过高以及数据安全等一系列问题。边缘计算是在靠近数据源端执行计算的分散处理模式,与云计算相比具有低延迟、低成本、安全性高、个性化设计等优势。随着智慧农业迅速发展,结合深度学习的农业应用屡见不鲜,如作物病害检测、生长环境监测、作物自动采摘、无人农场管理等,边缘计算可以为农业多场景、复杂任务提供高效、可靠的新型数据处理方案。该研究概述了边缘计算的发展,计算架构及主要优势;介绍了边缘计算在农业中的应用背景,结合文献量分析,归纳了边缘计算在农业上的主要应用场景及相关智能农业装备,调研了现有常用边缘计算设备及性能参数,总结了适合边缘计算的主流深度学习算法及模型压缩方法。研究表明边缘计算在智慧农业中的应用有效促进了农业的数字化、智能化,未来在多场景、多功能边缘计算智能农业装备开发等领域将面临重大挑战和机遇。

物联网;边缘计算;云计算;智慧农业;深度学习;模型压缩;模型部署

0 引 言

近年来,随着互联网技术的快速发展,远程高性能服务器集中解决计算与存储问题的云计算模式推动着万物互联和人工智能的飞速发展与广泛应用,极大改善了社会生活和工业生产方式[1]。在物联网与云技术的蓬勃发展下,一系列农业场景与云计算结合,实现数字化、自动化,有力推动了智慧农业的发展[2]。思科全球云指数报告指出,2016年全球云数据中心数据量为6.0 ZB(1 ZB等于10亿TB),到2021年,这一数字暴涨3倍,达到了19.5 ZB,云数据中心流量占总数据流量的95%[3]。在数据量急剧上升的万物互联时代,云计算的集中处理存在以下不足:1)实时性不足,随着物联网飞速发展,众多终端设备产生的数据量剧增,使得网络带宽面临巨大负担,导致数据传输延迟时间大大增加,难以满足人们日常工作生活需求[4]。2)能耗过高,云服务器数据激增,能耗大大增加,仅以中国数据中心来看,每年用电量以超过10%的速度增长,至2021年年耗电已超过1 000亿kW·h[5]。3)数据安全问题,大数据时代下社会生活、工业生产等隐私数据直接上传云数据中心会带来一系列安全隐患,受隐私协议霸王条款、厂商技术漏洞和黑客攻击等问题影响,随时存在数据泄露与丢失的风险[6]。

为解决云计算实时性不足、能耗过高、及数据安全问题,边缘计算采用在靠近数据源端执行计算的分散处理模式,以此来降低云计算数据中心的计算负载,从而实现降低能耗以及减少网络带宽的压力[7]。2016年11月30日,边缘计算产业联盟在北京成立,由华为、英特尔公司、中国信息通信研究院、软通动力等单位组成,在边缘计算产业峰会上,正式发布《边缘计算参考架构2.0》[8]。其中边缘计算定义为:在靠近数据源的一侧,采用网络、计算、存储的分布式平台,就近提供边缘智能服务。边缘计算可以为不同行业提供经济、可行、创新的解决方案:1)智慧水务,基于边缘计算的智慧供水系统,实现故障自诊断、可预测性维护,据华为云智能边缘平台报告指出结合边缘计算的智慧水务系统故障时间和维护人力减少60%;2)智慧照明,基于边缘计算的智慧照明系统,实现路灯的远程、实时、自适应控制,与传统照明系统相比能耗降低80%,运维成本降低90%;3)智能楼宇,基于边缘计算的智慧楼宇,实现楼宇多系统协同控制和智能化运营,比较供暖、通风和空调系统耗能,相比传统运行方式节省了36.75%以上的能源[8-9]。综上所述,边缘计算满足行业在敏捷联接、实时业务、智能决策、数据安全等方面的关键需求,是行业数字化升级不可或缺的要素。

随着中国老龄化加剧、城市化发展和气候变化,传统农业发展面临巨大挑战,智慧农业作为农业生产的高级阶段[10],通过人工智能、物联网、云计算等现代信息技术与传统农业相结合,实现农业无人化、自动化、智能化生产和管理。随着智慧农业的快速发展,越来越多智能农业终端被应用,通过实时现场数据收集、数据分析和执行机构控制,提高农业生产的质量和数量[11]。环境传感器,可以获取环境湿度、温度、光照、二氧化碳含量,及土壤水分pH值,实现动植物生长环境信息的动态监测[12]。动植物生长监测传感器,可以获取动植物的光谱、图像、声音、电磁等信息,实现动态生长、病害、产量等关键性状的动态解析[13]。智能装备传感器,可以获取如拖拉机、收获机、农业机器人、无人机、和末端执行器的作业状态信息,实现农业装备的智能监测和控制[14]。基于各种传感器收集的多维度农业信息,构建大数据分析模型,可以为动物养殖、植物生产装备作业提供智能管理决策,如智能灌溉、变量施肥、精准饲养、疾病诊断等,从而降低农业生产、运营成本[15]。智慧农业按照“感知-决策-执行”内在逻辑,可以分为农业智能感知,数据分析与决策,智能装备执行3个重要部分,其中数据分析与决策离不开云计算、边缘计算平台的支撑。

边缘计算作为一种新型计算模式,将其应用在智慧农业上,实现在数据采集边缘端完成数据处理和决策,可以有效克服云计算存在的瓶颈,显著提高数据安全性、处理实时性,同时降低能耗、成本。本文介绍了边缘计算的架构、优势,综述了智慧农业发展现状,以及边缘计算在农业应用上的文献发表情况;分析了边缘计算常用的核心设备,以及主流的边缘计算人工智能算法;讨论了边缘计算主要智能农业装备以及农业应用场景;总结了现阶段边缘计算在智慧农业应用上存在的问题,并对未来发展进行了展望。

1 边缘计算概述

1.1 边缘计算的架构

边缘计算的架构如图1所示,其在终端与云端之间引入边缘计算端,代替云端处理部分数据[16]。终端为用户数据采集端,通过智能手机、工业相机等设备收集原始数据上传至云端或边缘计算端进行计算与存储。云端由多个高性能服务器与存储设备构成,可以从终端获取训练数据完成复杂模型的训练和优化,并将训练好的模型部署在边缘计算端,实现对边缘设备的有效调度以及针对特定任务的数据处理[17]。边缘计算端,可以快速响应终端请求并将处理结果反馈至终端,为用户提供更好的实时服务。

1.2 边缘计算的优势

在网络边缘处理数据可以降低网络负载和通信延迟,降低移动节点的能源消耗,解决实时响应和带宽限制等问题。作为人工智能的重要分支,深度学习凭借大量神经网络层数可以解决众多复杂问题,然而其巨大计算量导致硬件算力需求较高,而传统的深度学习服务器存在体积大、移动性差,成本高的不足,很难进行大规模应用[18]。边缘计算设备包括现场可编程逻辑门阵列[19](Field-Programmable Gate Array,FPGA),数字信号处理器[20](Digital Signal Processor,DSP),片上系统[21](System-on-a-Chip,SOC),树莓派[22](Raspberry Pi),Nvidia Jetson[23]和智能移动终端等,均具有较强的本地运算能力,可以部署深度学习人工智能模型,实现采集数据的快速准确解析。施耐德电气公司对边缘计算部署的成本效益做出了分析,将边缘计算处理器与存储设备整合在1个机柜中,其工作处理能力相当于13个机柜的云服务器的处理能力,尺寸缩减的同时提高了性能,边缘计算数据中心相比于云计算数据中心的投资成本节省42%[24]。边缘计算显著降低了人工智能算法部署的硬件成本,提高了嵌入式开发的可行性,使得一系列人工智能应用成为了可能。

图1 边缘计算架构

边缘计算具有低成本、低能耗、低延时、数据安全的优势,已广泛应用工业生产、社会生活的智能嵌入式产品开发。王梓儒[25]分别在消费级ARM平台即树莓派3B+,高性能嵌入式GPU Nvidia Jetson TX2以及Android智能手机上部署了深度目标检测网络,给出了3种不同平台的边缘计算部署方案。张钊[26]通过在Nvidia Jetson TX2上部署改进后的YOLOV4-tiny算法,设计了基于边缘计算的视频监控系统,并对煤层气井站视频数据进行实时监测,平均检测精度达到92.15%,单张图片检测时长为0.102 s。Ma等[27]以华为atlas 200芯片作为智能处理芯片,采用参数量化的模型压缩方法部署残差网络与特征金字塔融合网络,设计了电网结冰智能监测装置计算模块,单帧检测速度达170 ms。Kim等[28]通过在Nvidia Jetson NANO上部署YOLOV3-tiny目标检测模型,构建了基于边缘计算的对象运动与跟踪系统,通过分层次利用帧差计算、目标检测等轻任务,自适应地释放不必要的待机对象运动和运动跟踪模型,可以节省高达78.5%的GPU内存占用。

综上所述,相较于云计算,边缘计算存在以下优势:

1)低延迟,在靠近数据端进行数据处理,避免了向云数据中心请求响应,可以降低网络延迟,实现更快速、更高效的数据分析和处理,研究表明,与云端相比,基于边缘计算的分支神经网络模型的推理延迟平均降低36%[29]。

2)低成本,网络边缘产生的大量数据无需全部上传云端,减轻了网络带宽的压力,同时降低了数据传输带来的巨大能耗。施耐德电气公司对边缘计算数据中心的成本效益分析中提到,相同算力条件下,边缘数据中心维护成本相较云数据中心每平方米节省1 600美元,节省成本42%[24],因此在本地设备上的数据管理成本大大低于云和数据中心网络。

3)安全性高,避免数据直接传输云端带来的隐私泄露风险,重要数据可以直接在边缘计算端进行加密处理或者保存。边缘计算端更贴近数据采集设备,访问攻击的难度大幅提升,提高了数据安全性。

4)个性化设计,通过将边缘计算和人工智能结合,可以持续分析客户数据及行为,提供实时交互,为智能设备提供自我修复、自我优化的实时处理,实现即时个性化。

2 边缘计算在农业中应用现状与分析

2.1 边缘计算在农业中应用的背景

农业是社会和国民经济的基础,及时获取可靠的农业信息,如作物生长和产量,对于制定粮食安全、减贫和可持续发展的相关政策和计划至关重要[30]。随着大数据、物联网、云计算、人工智能等现代信息技术在农业上的应用,第三次农业革命-农业智能革命已经到来[31]。智慧农业是以信息和知识为核心要素,通过将物联网、大数据、人工智能、云计算等先进信息技术与农业深度融合,实现农业信息感知、智能控制、精准决策、高效作业的全新的农业生产管理方式,是农业发展从信息化到智能化的高级阶段[32]。农业物联网通过传感器和软件通过移动平台或者电脑平台对农业生产进行控制,使得传统农业具有“智慧”,2020年7 500万物联网设备用于农业领域为智慧农业提供了大量智能感知和控制终端[33]。农业人工智能,通过研究图像识别、智能控制、动植物生长模型和专家系统等智能算法,实现对农业大数据的智能分析处理、并作出有效决策,使农业生产过程更加智能化、成本效益更高[34]。为实现农业物联网数据分析和处理,亟需能部署深度学习人工智能算法的高效、可靠、低成本计算平台。

虽然云计算基础架构可以为分布式农业物联网传感器、人工智能算法提供集中的强大算力基础,但是多个网络层上传感器异构数据的传输、和集中的数据处理将带来巨大网络带宽负担、能源消耗、信息安全风险[35]。边缘计算通过终端实时处理减少网络负载和信息安全风险,可以有效弥补云计算的不足,为智慧农业提供了新的计算架构[36]。Alharbi等[37]在智能农业环境下,采用混合整数线性规划进行了数学建模,对结合边缘计算的集成架构模式与传统的实现方法进行了分析和比较,证明结合边缘计算的新型架构模式降低总能耗36%,碳排放量43%,可以将网络流量减少86%,从而减少网络拥塞,具有良好的应用前景。此外,边缘计算较云计算而言有着低延迟、低带宽成本、移动性支持和高可扩展性等优势,可以为农业应用提供成本低、实时性高、适用性强的解决方案[38],为智慧农业发展提供新的技术支撑。

2.2 边缘计算在农业中应用的文献量分析

本文对2018—2021年国内外关于边缘计算在农业应用的相关文献进行统计分析,结果如图2所示。其中国外文献以Web of science为来源,国内文献以CNKI为来源,以边缘计算,农业为关键词进行筛选。边缘计算概念是2016年底提出,2018年已经有学者开始将边缘计算应用于农业领域,2018—2019年为探索阶段仅有少量相关文献的。随着数据量激增,云计算出现网络延迟,能耗大,数据安全等一系列问题,大量国内外研究者开始关注边缘计算在农业中的应用,2020年相比前一年国内文献数量提高约3倍。2021年得益于系列边缘计算产业联盟成员的关注及投入,众多高算力边缘设备持续推出,边缘计算在农业中应用的相关研究持续增长,且首次出现中文文献发表量超过外文文献[39]。综上所述,目前边缘计算在农业上的应用处于快速发展阶段,可以预测未来将为越来越多的农业场景提供新的解决方案。

图2 边缘计算农业应用国内外文献量

2.3 边缘计算在农业中应用的场景

现阶段,边缘计算的农业应用通常与人工智能算法结合,旨在实现动植物生长动态监测、环境实时检测、和农业装备作业智能决策。根据现有文献报道,边缘计算在农业中应用的场景如表1所示,主要分为环境监测与病虫害识别、作物生长及产量预测、农业侦察与路径规划等方面。此外,表中对不同边缘计算农业应用场景下,测量目标、采用的边缘计算设备、网络模型、检测速度与精度指标,进行了归纳总结。

1)环境监测与病虫害识别

病虫害识别与环境检测是目前边缘计算最常见农业应用场景。刘苏伟[40]基于边缘计算与深度学习构建了玉米叶片病害识别系统,通过采集玉米叶片图像,对叶斑病、叶枯病、锈病以及健康叶片进行识别,选用ResNet18模型测试精确率达85.4%,当终端和边缘设备连接并传输数据时,最大速度达5.58 MB/s。牛恺锐等[41]基于深度学习框架构建了一个特征提取网络,并部署在海思Hi3559A芯片上,实现小麦、水稻病虫害识别,模型准确率分别为92%、97%,识别速度达20.0帧/s且功耗小于5 W,该边缘计算嵌入式终端相较于传统服务器具有低成本、低功耗、轻量化等优势。李凤迪[42]构建了基于深度学习的松材线虫病树检测方法,选用树莓派 4B作为边缘计算平台部署训练好的MobileNetv2-SSDLite模型并集成在大疆M600无人机上,实现松材线虫病树的在线监测,识别速度达到5帧/s。孙志朋[43]通过在树莓派部署卷积神经网络对水稻害虫图像进行识别,准确率可达到89%,利用边缘设备完成了害虫在线识别计数、水稻生长环境监测,减少了云端计算压力。Guillén等[44]基于深度学习搭建了农业低温预测边缘计算平台,以Nvidia Jetson AGX Xavier为边缘设备部署LSTM (Long Short-Term Memory)模型实现温度预测,推理时间为0.3 s,预测值的平均误差小于0.8 ℃,设备耗电量小于0.08 kW·h。综上所述,通过边缘设备部署人工智能算法,可以实现高精度、实时性的环境监测和病虫害识别,为农业人工智能应用提供了新的技术途径。

2)作物生长及产量预测

作物生长及产量预测是边缘计算在农业上的应用领域之一,通过边缘设备上部署机器学习预测模型,可以大大减少预测环节所用时间。Park等[45]将边缘计算技术融入智能农场中,分析环境和生长数据获取关键参数,以此来预测作物生长及最终产量,通过在树莓派上部署LSTM模型对樱桃番茄的产量进行预测,得到预测值均方误差为0.045,预测精度较高。Coviello等[46]通过智能手机对葡萄产量进行测算,使用设计的计数网络GBCNet在两个原始数据集 CR1和CR2 上进行测试,检测的平均百分比误差在0.85%~11.73%,手机拍摄和处理单张图片时间小于1 s,具有较好的便携性和较高的预测效率。综上所述,与服务器端数据采集、上传、分析及模型预测的步骤相比,边缘计算设备可以直接实现现场数据采集与模型预测,且具有较高的预测精度和效率,可为精准农业发展助力。

3)农业侦察与无人机路径规划

农业侦察与无人机路径规划,是农业装备智能作业的重要内容。与所有数据传输到云不同,通过边缘节点与无人机等传感器连接提供了近数据端、低延时、低成本的智能数据处理与决策方案。Yang等[47]结合边缘计算提出了一种无人机自适应作物侦察机制,将EDANet模型部署在Nvidia Jetson TX2上,结合无人机在多个角度对水稻进行侦察,可以将稻田侦察速度提高36%,准确率达99.25%。Chen等[48]结合边缘计算建立了无人机害虫智能识别系统,在Nvidia Jetson TX2上部署基于YOLOv3-tiny的无人机果园乳头状锥虫智能识别模型,实现害虫快速准确定位,并规划出最优无人机农药喷洒路径,与传统路径相比缩短19%,且减少了87%的水消耗量,节省了53%的工作时间;此外还可以将害虫位置和产生情况传输到云端以便记录和分析作物生长情况。由此可知,通过嵌入式边缘计算设备和无人机结合,可以部署复杂的人工智能模型,实现高精度农业侦察和最优路径规划。

表1 边缘计算在农业中的应用场景

2.4 基于边缘计算的智能农业装备

根据文献报道目前基于边缘计算的智能农业装备如图3所示,主要分为智能农业无人机[66]、智能农业机器人[67]以及农业智能移动终端[68]。边缘设备与无人机结合常用于执行杂草、虫害检测、路径规划和农药自动喷洒等任务;与地面农业机器人结合实现农作物实时检测,可完成作物采摘、除草、实时环境监测等任务;结合智能移动端开发的应用程序为用户提供了更加快捷方便的农业图像采集和数据处理方案。

1)智能农业无人机,作为一种新型的信息获取载体,无人机因其操作灵活、适应性高,广泛应用于各种农业场景,尤其是在农药喷洒、作物虫害监测、地形勘测等方面[69]。通过在无人机上部署边缘计算核心设备,在空中作业的过程中,对采集到的图像进行实时处理,自动进行路径规划、作物病害识别,完成除草、农药喷洒、地图绘制等作业,减少后续数据传输、远程处理等步骤,提高工作效率。如Ukaegbu等[70]基于无人机和树莓派3B,开展飞行作业过程中杂草检测与除草剂自动喷洒研究,实现0.5 m的飞行高度下杂草检测时间小于1 s,精度大于98%;Camargo等[55]在边缘设备Nvidia Jetson AGX Xavier上部署ResNet-18 DCNN(Dynamic Convolution Neural Network,动态卷积神经网络)模型实现杂草与作物智能检测,总体准确率为94%,检测速度达到2.2 帧/s,实现杂草地图的在线绘制;Partel等[62]开发了一种智能除草喷雾器,以Nvidia Jetson TX2作为边缘计算端部署YOLOV3-tiny模型完成目标杂草识别,平均检测精度达90%,速度达到22帧/s。综上所述,结合边缘计算端与无人机设备可以在飞行过程中执行数据分析任务,减少了数据交互带来的时间成本,使得自主路径规划作业成为可能,提高了工作效率。

图3 基于边缘计算的智能农业装备[68]

2)智能农业机器人,随着人工智能技术飞速发展,智能农业机器人在内部嵌入边缘计算平台,可以直接在边缘侧实现对图像信息的分析和决策,可以完成智能播种、种植、耕作、采摘、收割、分选等一系列工作[71]。部署人工智能算法的农业机器人,相较于传统控制作业方式更加高效智能,可以应用于复杂的农业作业场景,如棉花打顶、智能除草、精准灌溉等。Nilay等[49]结合FPGA设备设计的水果采摘机器人,对采集到的图像信息进行处理,目标水果识别精度为95.8%,识别速度达30 帧 /s,实现了目标水果的自动采集;Wang等[54]结合边缘计算设计育苗机器人,通过在边缘设备Nvidia Jetson TX2上部署YOLOV4-tiny模型实现了盆花的实时检测与定位,平均检测准确率89.72%,检测速度达到16 帧/s,完成了盆栽的自动化管理;Chechliński等[50]设计的自主除草机器人,采用树莓派3B作为边缘计算设备以超过10 帧/s的检测速度实现了杂草实时检测。因此,将智能农业机器人与边缘计算技术结合,突破了传统农业机器人在复杂任务、复杂环境下作业的瓶颈,是智慧农业的重要发展方向。

3)农业智能移动终端,随着智能移动终端的快速发展,其算力和存储性能不断提高,使得复杂深度学习模型部署成为了可能[72]。基于智能移动终端设计人工智能应用程序,可实现便携式、高精度的农业信息采集与分析。如Liu等[56]在移动智能手机上部署GoogLeNet模型,实现21种葡萄分类识别,准确率达99.91%;Buzzy等[60]将YOLOV3-tiny部署在智能手机端,实现了植物叶片的检测与计数,检测时间小于0.1 s;Ai等[59]将边缘计算与深度学习结合,以卷积神经网络为基础构建了Inception-ResNet-v2模型,并部署在手机端,应用于植物病虫害的识别和检测,总体识别准确率为86.1%。综上所述,智能移动终端,具有拍照、声音采集等通用传感器,基于通用的Android开发平台设计移动端人工智能应用程序,可以为智慧农业提供便携式、低成本智能检测方案。

2.5 边缘计算在农业中应用的设备核心

随着边缘计算的快速发展,越来越多的计算设备为边缘AI (Artificial Intelligence)应用程序和嵌入式设备而设计,农业中常用的边缘计算核心设备如图4所示,主要包括树莓派、英伟达小型计算平台、FPGA、和手机处理器等,该类设备具有体积小、结构紧凑、功耗低、算力高等优势[73]。常用的边缘计算设备算力、功耗等性能参数如表2所示。树莓派3B自2016年发布以来,因其高便携性、低功耗受到了科研工作者的广泛关注,到2019年树莓派4B发布,计算能力相较于树莓派3B有显著提升,较高性价比以及较小的体积使其常作为边缘计算核心设备集成于各类智慧农业平台中[74]。此外,Xilinx PYNQ-Z2、海思Hi3559等FPGA、SOC芯片的计算能力相较于树莓派提升了近百倍,可以加载更加复杂的模型,并提高模型推理速度[75]。近年来,Nvidia Jetson推出的一系列边缘计算设备如NANO、TX2、AGX等,其算力为0.5~10 T不等,可为不同农业应用场景提供最佳性价比的检测方案[76]。

图4 边缘计算核心设备图

树莓派以较低成本与高便携性受到了许多研究者们的青睐。Kundu等[77]提出了Custom-Net模型用于检测珍珠粟疾病,并将模型部署在树莓派3B上实现了98.78%的分类准确率。Mishra等[61]采用树莓派3B并结合由专用CNN(Convolutional Neural Network)硬件块组成的Intel Movidius神经计算棒作为边缘设备,部署训练好的深度CNN模型,实现玉米叶片的病害识别,准确率达88.46%;Tarek等[63]将MobileNetV3部署在树莓派4B上,实现番茄疾病的快速准确诊断,检测精度达98.99%,检测效率为每张图250~350ms;Emebo等[64]构建了一个番茄叶片病害分类模型,部署在手持式设备的树莓派上,模型平均精度达99.01%;Tufail等[65]提出了一种基于纹理、形状和颜色特征组合的支持向量机分类器,并将该算法部署在树莓派4B上进行实时监测,分类准确率达96%,检测效率为6帧/s;Meng等[51]开发了一种水下无人机,配备360°全景摄像头作为图像采集端,并在树莓派3B上部署深度学习鱼类识别模型,模型准确率达87%。

Nvidia Jetson系列开发板以宽泛、出色的算力在众多边缘设备中脱颖而出,且厂商提供了丰富的软硬件支持服务,因此以其作为边缘计算设备的文献报道最多。Seo等[52]以Nvidia Jetson NANO作为边缘计算端,基于YOLOV4-tiny设计了复杂场景下生猪识别和定位算法,检测精度达97.66%,检测速度为34.38 帧/s,实现养猪场生猪智能监测;Deng等[53]针对无人机对杂草识别及精准喷药问题,构建杂草识别轻量级的网络架构,并将其部署在Nvidia Jetson TX2上,实现4.5帧/s的检测速度和80.9%的检测准确度。

表2 常用边缘计算设备及参数

注:每秒浮点运算次数(Floating-point Operations Per Second, FLOPS),1GFLOPS等于每秒十亿(109)次的浮点运算,1TFLOPS等于每秒一万亿(1012)次的浮点运算。

Note: FLOPS is the floating-point operations per second, 1GFLOPS means one billion (= 109) floating-point operations per second, and 1TFLOPS means one trillion (= 1012) floating-point operations per second.

除此之外,FPGA、DSP以及手机处理器也具有极强的算力,可用于边缘端数据处理[78]。He等[57]提出了一种基于深度学习的油菜害虫检测方法,在移动智能手机上部署SSD w/Inception模型,实现油菜害虫实时诊断,平均检测精度达77.14%;Ahmed等[58]基于深度学习开发了一种植物叶片疾病自动诊断移动式平台,在Android移动端对14种作物常见的38种疾病进行分类,总体分类准确率达到94%。Liu等[79]开发了一款基于Android的便携式植物表型分析应用程序,实现15个整株性状、25个叶片性状和5个茎秆性状的便携式、实时检测。综上所述,面对不同的农业应用场景,用户可以选择合适算力的边缘计算设备,为农业生产提供具有成本效益的解决方案。

2.6 边缘计算在农业中应用的主流深度学习算法

深度学习作为一种智能数据处理方法,广泛应用于智慧农业研究与生产实践,然而大多数深度学习方法对计算设备的算力和内存需求较高[80]。虽然云计算可以提供较高算力和内存支撑,但会导致高延迟和巨大的网络带宽压力[81]。而基于边缘计算的深度学习模型部署,为人工智能应用提供了一种近数据端、低延时、低成本的检测方案[82]。与云服务器不同,受边缘计算设备算力限制,部署于边缘端的模型运算速度与模型大小密切相关[83]。根据现有文献,目前边缘计算在农业中应用的深度学习算法主要采用轻量化深度学习网络,包括SSD(Single Shot Multibox Detector),YOLO(You Only Look Once)等算法,如表3所示。表中各算法检测单张图片的时间均采用本地树莓派4B为边缘设备进行推理得到。将SSD-Mobilenet与SSD-VGG16对比,模型参数量更小,虽然精度有所降低,但是单张图片检测时间由19.1 s减少至3.73 s;同理,YOLOV4-tiny在YOLOV4的基础上进一步降低参数量,在仅降低 mAP(mean Average Precision)23.43%的情况下检测速度提高约7倍。YOLOV5-lite、YOLO-fastest、YOLOX-NANO虽然将网络参数量降至10 MB以内,在树莓派4B上单张图片检测时间仍然较高,这说明了现有的轻量化网络依然无法满足低算力边缘计算设备的要求。因此在保证满足模型精度要求的情况下实现对模型进行一步压缩优化也是边缘计算研究的重点之一,常见模型压缩方法主要包括网络剪枝、知识蒸馏、参数量化、结构优化。

表3 边缘计算在农业中应用的主流深度学习算法

注:表中各算法的单张检测时间为采用树莓派4B进行推理测速得到。以上各模型均在pytorch环境下测试,torch版本为1.5.0,torchvision版本为0.6.0,opencv版本为3.4.6。

Note: The detection time for each algorithm in the table is measured with Raspberry Pi 4B. All the above models are tested in pytorch environment, with torch 1.5.0, torchvision 0.6.0 and opencv 3.4.6.

1)网络剪枝,通常网络模型参数过多有些权重接近0,或者神经元的输出为0,可以将这些多余的参数从网络中移除。具体步骤为预训练一个比较庞大的模型,评估每个权重和神经元的重要性,按照参数重要性排序,删除不重要的参数,将缩小的模型用训练数据重新微调一次,可以减小损失,如果模型缩小之后仍然没达到要求则重新评估权重和神经元迭代操作[84]。

2)知识蒸馏,基本思想是可以先训练一个规模大的初始网络,再训练一个小的子网络去学习大的初始网络的行为。使用初始网络的输出来训练而不直接使用标注数据,是因为初始网络可以提供更多的信息,输入一个样本后初始网络会输出各种类别的概率值,这比单纯的标签信息要更丰富[85]。

3)参数量化,如果说网络剪枝是通过减少权重的数量来压缩模型,那么量化则是通过减少权重的大小来压缩模型。量化通常是将大集合值映射到小集合值的过程,这意味着输出包含的可能值范围比输入小,理想情况下在该过程中不会丢失太多信息[86]。参数量化会使用更少的空间的来存储一个参数,然后使用聚类中心来代替整个类的值,这样可以减少参数的储存[87]。

4)结构优化,通过调整网络结构使得其只需要较少的参数,常见方法为低秩近似与切除分离卷积。深层神经网络通常存在大量重复参数,不同层或通道之间存在许多相似性或冗余性,低秩近似的目标是使用较少滤波器的线性组合来近似一个层的大量冗余滤波器,以这种方式压缩层减少了网络的内存占用以及卷积运算的计算复杂性,实现加速。切除分离卷积方法则是将计算进行拆分,共用部分参数,最终实现参数规模缩小[88]。

3 结论与展望

边缘计算具有高实时、低成本、低能耗的优势,为深度学习人工智能算法部署提供新的技术途径,其在农业中的应用正处于快速发展阶段,为多场景智慧农业发展提供具有成本效益的智能解决方案。现有边缘计算设备主要包括树莓派、英伟达小型计算平台、现场可编程逻辑门阵列、和移动智能终端,受算力限制部署的人工智能算法主要是轻量化深度学习网络,且模型压缩是加速边缘计算的重要途径。结合边缘计算的智能农业装备主要包括智能农业无人机、智能农业机器人以及农业智能移动终端,旨在实现动植物生长动态监测、环境实时检测、和农业装备作业智能决策。就目前文献分析,边缘计算的农业应用主要包括环境监测与病虫害识别、作物生长及产量预测、农业侦察与路径规划等方面,有效提升了工作效率。边缘计算为农业领域的各种复杂问题提供了高精度、实时性、低成本的解决方案,推动边缘计算在农业中的应用将进一步促进农业数字化、智能化,为智慧农业发展提供助力。随着边缘计算在农业中的深入应用,未来将面临重大的挑战与机遇。

1)多场景、多功能边缘计算智能农业装备亟待开发

随着人口老龄化加剧和城市化发展,越来越多的农业生产环节,需要智能农业装备来替代传统人工,而边缘计算将为农业装备提供高精度、低时延、低成本人工智能计算平台。现有的边缘计算智能农业装备主要应用于作物病虫害识别与动态生长监测,未来在动物饲养管控,如疾病诊断、生长状态监测、智能饲喂;作物种植管控,如多功能表型检测、精准除草、变量施肥、智能采摘等领域亟待开发相关智能农业装备。

2)轻量化、高精度的边缘计算人工智能算法亟待发展

随着人工智能高速发展,深度学习在众多领域得到了广泛应用,而近年来摩尔定律的逐步放缓,使得边缘计算设备很难依靠硬件升级满足复杂模型的需求,如何将人工智能模型前端化、轻量化,如何保证高精度的前提下尽可能压缩模型提升效率,成为亟待解决的问题。因此,为实现边缘计算农业应用大规模落地,发展轻量化、高精度的边缘计算专用人工智能算法,实现模型精度与速度的平衡,是开发智能农业装备的重要前提。

3)云-边缘协同、多机协作智能管控方法亟待研究

随着边缘计算节点数量增加,对异构、分散的边缘计算资源管理是未来将面临的主要挑战。随着各种智能农业装备的研发与应用,以云平台为中心创建云边协同、多机协作智能工作模式,对边缘智能农业装备进行统一管理,从数据、模型、应用、安全等方面实现云端与边缘设备之间的协同;制定相关的标准规范和通讯协议实现异构边缘设备之间交流,按照指定任务开展多机互助协作;建立统一的数据命名和标注规范,开展云边数据协同分析,进一步提升数据处理效率。

[1] Armbrust M, Fox A, Griffith R, et al. A view of cloud computing[J]. Communications of the ACM, 2010, 53(4): 50-58.

[2] 李瑾,郭美荣,高亮亮. 农业物联网技术应用及创新发展策略[J]. 农业工程学报,2015,31(增刊2):200-209.

Li Jin, Guo Meirong, Gao Liangliang. Application and innovation strategy of agricultural Internet of Things[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Suppl.2): 200-209. (in Chinese with English abstract)

[3] Cisco. 2022 Global Hybrid Cloud Trends Report[R]. USA. S&P Market Intelligence, 2022.

[4] Ashton K. That ‘internet of things’ thing[J]. RFID Journal, 2009, 22(7): 97-114.

[5] Zhang Y, Liu J. Prediction of overall energy consumption of data centers in different locations[J]. Sensors, 2022, 22(10): 3704.

[6] Zhu Y, Zhang Y, Wang J, et al. From data-driven to intelligent-driven: Technology evolution of network security in big data era[C]//2019 IEEE 43rd Annual Computer Software and Applications Conference (COMPSAC). IEEE, 2019, 2: 103-109.

[7] Fan Z, Yang W, Tian K. An edge computing service model based on information-centric networking[C]//2019 IEEE 25th International Conference on Parallel and Distributed Systems (ICPADS). IEEE, 2019: 498-505.

[8] 边缘计算产业联盟. 边缘计算参考架构2. 0(中)[J]. 自动化博览,2018,35(2):54-56.

[9] Zheng Z , Xie D , Pu J , et al. MELODY: Adaptive task definition of COP prediction with metadata for HVAC control and electricity saving[C]//e-Energy '20: The Eleventh ACM International Conference on Future Energy Systems. ACM, 2020

[10] 赵春江.智慧农业发展现状及战略目标研究[J].智慧农业,2019,1(1):1-7.

Zhao Chunjiang. State-of-the-art and recommended developmental strategic objectivs of smart agriculture[J]. Smart Agriculture, 2019, 1(1): 1-7. (in Chinese with English abstract)

[11] Chen Y. Discussing on relation between agricultural internet of things and agriculture complex large system intelligent control[J]. Agriculture Network Information, 2012, 2: 8-12.

[12] Lavanya G, Rani C, GaneshKumar P. An automated low cost IoT based fertilizer intimation system for smart agriculture[J]. Sustainable Computing: Informatics and Systems, 2020, 28: 100300.

[13] Chen X, Shi Q, Yang L, et al. ThriftyEdge: Resource-efficient edge computing for intelligent IoT applications[J]. IEEE Network, 2018, 32(1): 61-65.

[14] Jaiganesh S, Gunaseelan K, Ellappan V. IOT agriculture to improve food and farming technology[C]//2017 Conference on Emerging Devices and Smart Systems (ICEDSS). IEEE, 2017: 260-266.

[15] Henriksen A, Selmer-Olsen A R. Automatic methods for determining nitrate and nitrite in water and soil extracts[J]. Analyst, 1970, 95(1130): 514-518.

[16] Garcia Lopez P, Montresor A, Epema D, et al. Edge-centric computing: Vision and challenges[J]. ACM SIGCOMM Computer Communication Review, 2015, 45(5): 37-42.

[17] Shi W, Dustdar S. The promise of edge computing[J]. Computer, 2016, 49(5): 78-81.

[18] Chen J, Ran X. Deep learning with edge computing: A review[J]. Proceedings of the IEEE, 2019, 107(8): 1655-1674.

[19] Colbert I, Daly J, Kreutz-Delgado K, et al. A competitive edge: Can FPGAs beat GPUs at DCNN inference acceleration in resource-limited edge computing applications?[J/OL]. (2021-03-09) [2022-5-23].https://arxiv.org/abs/2102. 00294.

[20] 陈天华,卢思翰. 基于DSP的小型农用无人机导航控制系统设计[J]. 农业工程学报,2012,28(21):164-169.

Chen Tianhua, Lu Sihan. Autonomous navigation control system of agricultural mini-unmaned aerial vehicles based on DSP[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(21): 164-169. (in Chinese with English abstract)

[21] 孟晓丽,牛焕娜,贾东梨,等. 基于储能Soc日前计划的微电网实时能量优化调度方法[J]. 农业工程学报,2016,32(8): 155-161.

Meng Xiaoli, Niu Huanna, Jia Dongli, et al. Real-time energy optimal dispatch for microgrid based on day-ahead scheduling of charge state[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 155-161. (in Chinese with English abstract)

[22] Jolles J W. Broad-scale applications of the Raspberry Pi: A review and guide for biologists[J]. Methods in Ecology and Evolution, 2021, 12(9): 1562-1579.

[23] Wang X, Zhang W, Wu X, et al. Real-time vehicle type classification with deep convolutional neural networks[J]. Journal of Real-Time Image Processing, 2019, 16(1): 5-14.

[24] Avelar V. Cost benefit analysis of edge micro data center deployments[J]. Schneider Electric, 2017, 223: 1-8.

[25] 王梓儒. 深度目标检测模型的边缘计算方案研究[D]. 北京:北京交通大学,2020.

Wang Ziru. Research on Edge Caculation Scheme of Object Detection Model[D]. Beijing: Beijing Jiaotong University, 2020. (in Chinese with English abstract)

[26] 张钊. 面向边缘计算的目标检测算法研究与应用[D]. 大连:大连理工大学,2021.

Zhang Zhao. Research and Application of Target Detection Algorithm for Edge Computing[D]. Dalian: Dalian University of Technology, 2021. (in Chinese with English abstract)

[27] Ma F, Wang B, Li M, et al. Edge intelligent perception method for power grid icing condition based on multi-scale feature fusion target detection and model quantization[J]. Frontiers in Energy Research, 2021,9: 591-602.

[28] Kim J, Lee J, Kim T. AdaMM: Adaptive object movement and motion tracking in hierarchical edge computing system[J]. Sensors, 2021, 21(12): 4089.

[29] 樊琦,李卓,陈昕. 基于边缘计算的分支神经网络模型推断延迟优化[J]. 计算机应用,2020,40(2):342-346.

Fan Qi, Li Zhuo, Chen Xin. Inference delay optimization of branchy neural network model based on edge computing[J]. Journal of Computer Applications, 2020, 40(2): 342-346. (in Chinese with English abstract)

[30] Oteros-Rozas E, Ruiz-Almeida A, Aguado M, et al. A social–ecological analysis of the global agrifood system[J]. Proceedings of the National Academy of Sciences, 2019, 116(52): 26465-26473.

[31] 聂鹏程,张慧,耿洪良,等. 农业物联网技术现状与发展趋势[J]. 浙江大学学报(农业与生命科学版),2021,47(2):135-146.

Nie Pengcheng, Zhang Hui, Geng Hongliang, et al. Current situation and development trend of agricultural Internet of Things technology[J]. Journal of Zhejiang University (Agriculture and Life Sciences), 2021, 47(2): 135-146. (in Chinese with English abstract)

[32] 曹冰雪,李瑾,冯献,等. 我国智慧农业的发展现状、路径与对策建议[J]. 农业现代化研究,2021,42(5):785-794.

Cao Bingxue, Li Jin, Feng Xian, et al. Development status, path, and countermeasures of smart agriculture in China[J]. Research of Agricultural Modernization, 2021, 42(5): 785-794. (in Chinese with English abstract)

[33] 葛文杰,赵春江. 农业物联网研究与应用现状及发展对策研究[J]. 农业机械学报,2014,45(7):222-230.

Ge Wenjie, Zhao Chunjiang. State-of-the-art and developing trategies of agricultural internet of things[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 222-230. (in Chinese with English abstract)

[34] 郑纪业,阮怀军,封文杰,等. 农业物联网体系结构与应用领域研究进展[J]. 中国农业科学,2017,50(4):657-668.

Zheng Jiye, Ruan Huaijun, Feng Wenjie, et al. Agricultural lOT architecture and application model research[J]. Scientia Agricultura Sinica, 2017, 50(4): 657-668. (in Chinese with English abstract)

[35] Buyya R, Yeo C S, Venugopal S, et al. Cloud computing and emerging IT platforms: Vision, hype, and reality for delivering computing as the 5th utility[J]. Future Generation Computer Systems, 2009, 25(6): 599-616.

[36] Varghese B, Wang N, Barbhuiya S, et al. Challenges and opportunities in edge computing[C]//IEEE International Conference on Smart Cloud. Piscataway. NewYork: IEEE, 2016: 20-26.

[37] Alharbi H A, Elgorashi T E H, Elmirghani J M H. Energy efficient virtual machines placement over cloud-fog network architecture[J]. IEEE Access, 2020, 8: 94697-94718.

[38] 叶惠卿. 基于边缘计算的农业物联网系统的研究[J]. 无线互联科技,2019,16(10):30-32.

Ye Huiqing. Research on agricultural lnternet of Things system based on edge computing[J]. Wireless Internet Technology, 2019, 16(10): 30-32. (in Chinese with English abstract)

[39] Zheng B G. Study on the agricultural internet of things key technology of the intelligent control of sunlight greenhouse complex system[C]//Advanced Materials Research. Trans Tech Publications Ltd, 2013, 756: 2369-2373.

[40] 刘苏伟. 基于边缘计算的玉米病害识别深度学习应用研究[D]. 哈尔滨:东北农业大学,2020.

Liu Suwei. The Study on Deep Learning of Maize Disease Recognition Based on Edge Computing[D]. Harbin: Northeast Agricultural University, 2020. (in Chinese with English abstract)

[41] 牛恺锐,张正华,包飞霞,等. 基于边缘计算的作物病虫害监测嵌入式系统设计[J]. 计算机与网络,2021,47(14):61-65.

Niu Kairui, Zhang Zhenghua, Bao Feixia, et al. Design on Embedded System for Crop Diseases and Pests Monitoring Based on Edge Computing[J]. Computer & Network, 2021, 47(14): 61-65. (in Chinese with English abstract)

[42] 李凤迪. 基于深度学习和无人机遥感的松材线虫病树监测系统研究[D]. 泰安:山东农业大学,2020.

Li Fengdi. A Study on Monitoring System of Pine Nematode Tree Based on Deep Learning and UAV Remote Sensing[D]. Taian: Shandong Agricultural University, 2020. (in Chinese with English abstract)

[43] 孙志朋. 基于物联网技术的水稻生长环境监测系统及关键技术研究[D]. 长春:吉林大学,2021.

Sun Zhipeng. Research on Monitoring System and Key Technologies Ofrice growth Environment Based on Internet of Things[D]. Changchun: Jilin University, 2021. (in Chinese with English abstract)

[44] Guillén M A, Llanes A, Imbernón B, et al. Performance evaluation of edge-computing platforms for the prediction of low temperatures in agriculture using deep learning[J]. The Journal of Supercomputing, 2021, 77(1): 818-840.

[45] Park J, Choi J H, Lee Y J, et al. A layered features analysis in smart farm environments[C]//Proceedings of the International Conference on Big Data and Internet of Thing. 2017: 169-173.

[46] Coviello L, Cristoforetti M, Jurman G, et al. GBCNet: In-field grape berries counting for yield estimation by dilated CNNs[J]. Applied Sciences, 2020, 10(14): 4870.

[47] Yang M D, Boubin J G, Tsai H P, et al. Adaptive autonomous UAV scouting for rice lodging assessment using edge computing with deep learning EDANet[J]. Computers and Electronics in Agriculture, 2020, 179: 105817

[48] Chen C J, Huang Y Y, Li Y S, et al. Identification of fruit tree pests with deep learning on embedded drone to achieve accurate pesticide spraying[J]. IEEE Access, 2021, 9: 21986-21997.

[49] Nilay K, Mandal S, Agarwal Y, et al. A proposal of FPGA-based low cost and power efficient autonomous fruit harvester[C]//2020 6th International Conference on Control, Automation and Robotics (ICCAR). IEEE, 2020: 324-329.

[50] Chechliński Ł, Siemiątkowska B, Majewski M. A system for weeds and crops identification-reaching over 10 FPS on raspberry pi with the usage of MobileNets, DenseNet and custom modifications[J]. Sensors, 2019, 19(17): 3787.

[51] Meng L, Hirayama T, Oyanagi S. Underwater-drone with panoramic camera for automatic fish recognition based on deep learning[J]. Ieee Access, 2018, 6: 17880-17886.

[52] Seo J, Ahn H, Kim D, et al. Embedded pig det-fast and accurate pig detection for embedded board implementations[J]. Applied Sciences, 2020, 10(8): 2878.

[53] Deng J, Zhong Z, Huang H, et al. Lightweight semantic segmentation network for real-time weed mapping using unmanned aerial vehicles[J]. Applied Sciences, 2020, 10(20): 7132.

[54] Wang J, Gao Z, Zhang Y, et al. Real-time detection and location of potted flowers based on a ZED camera and a YOLO V4-Tiny deep learning algorithm[J]. Horticulturae, 2021, 8(1): 21.

[55] Camargo T D, Schirrmann M, Landwehr N, et al. Optimized deep learning model as a basis for fast UAV mapping of weed species in winter wheat crops[J]. Remote Sensing, 2021, 13(9): 1-19.

[56] Liu Y, Su J, Shen L, et al. Development of a mobile application for identification of grapevine (Vitis vinifera L. ) cultivars via deep learning[J]. International Journal of Agricultural and Biological Engineering, 2021, 14(5): 172-179.

[57] He Y, Zeng H, Fan Y, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019, 2019: 1-14.

[58] Ahmed A A, Reddy G H. A mobile-based system for detecting plant leaf diseases using deep learning[J]. AgriEngineering, 2021, 3(3): 478-493.

[59] Ai Y, Sun C, Tie J, et al. Research on recognition model of crop diseases and insect pests based on deep learning in harsh environments[J]. IEEE Access, 2020, 8: 171686-171693.

[60] Buzzy M, Thesma V, Davoodi M, et al. Real-time plant leaf counting using deep object detection networks[J]. Sensors, 2020, 20(23): 6896.

[61] Mishra S, Sachan R, Rajpal D. Deep convolutional neural network based detection system for real-time corn plant disease recognition[J]. Procedia Computer Science, 2020, 167: 2003-2010.

[62] Partel V, Kakarla S C, Ampatzidis Y. Development and evaluation of a low-cost and smart technology for precision weed management utilizing artificial intelligence[J]. Computers and Electronics in Agriculture, 2019, 157: 339-350.

[63] Tarek H, Aly H, Eisa S, et al. Optimized deep learning algorithms for tomato leaf disease detection with hardware deployment[J]. Electronics, 2022, 11(1): 140.

[64] Emebo O, Fori B, Victor G, et al. Development of tomato septoria leaf spot and tomato mosaic diseases detection device using raspberry Pi and deep convolutional neural networks[C]//Journal of Physics: Conference Series. IOP Publishing, 2019, 1299(1): 012118.

[65] Tufail M, Iqbal J, Tiwana M I, et al. Identification of tobacco crop based on machine learning for a precision agricultural sprayer[J]. IEEE Access, 2021, 9: 23814-23825.

[66] Xu W C, Chen K, Zhang M, et al. Life lifting scheme for plant protection UAV based on solar[J]. Journal of Agricultural Science and Technology (Beijing), 2018, 20(11): 62-68.

[67] Wang R, Sun B Y. Development status and expectation of agricultural robot[J]. Bulletin of Chinese Academy of Sciences, 2015, 30(6): 803-809.

[68] Alzarliani W D, Arsyad M, Salam M, et al. Effect of App utilization on the agricultural efficiency of rural communities[C]//IOP Conference Series: Earth and Environmental Science. IOP Publishing, 2019, 235(1): 012101.

[69] Yue J, Lei T, Li C, et al. The application of unmanned aerial vehicle remote sensing in quickly monitoring crop pests[J]. Intelligent Automation & Soft Computing, 2012, 18(8): 1043-1052.

[70] Ukaegbu U F, Tartibu L K, Okwu M O, et al. Development of a light-weight unmanned aerial vehicle for precision agriculture[J]. Sensors, 2021, 21(13): 4417.

[71] Kun B, Xin Z, Ruifeng H. The trend of application and development of robot technology in agriculture[J]. China Agricultural Science Bulletin, 2011, 27(4): 469-473.

[72] Laamrani A, Pardo Lara R, Berg A A, et al. Using a mobile device “app” and proximal remote sensing technologies to assess soil cover fractions on agricultural fields[J]. Sensors, 2018, 18(3): 708.

[73] Filho C P, Marques Jr E, Chang V, et al. A systematic literature review on distributed machine learning in edge computing[J]. Sensors, 2022, 22(7): 2665.

[74] Huang Z, Yang S, Zhou M C, et al. Making accurate object detection at the edge: Review and new approach[J]. Artificial Intelligence Review, 2021: 1-30.

[75] Sheng Q, Sheng H, Gao P, et al. Real-time detection of cook assistant overalls based on embedded reasoning[J]. Sensors, 2021, 21(23): 8069.

[76] Su M, Tan J, Lin C Y, et al. Constructing a mobility and acceleration computing platform with NVIDIA Jetson TK1[C]//2015 IEEE 17th International Conference on High Performance Computing and Communications, 2015 IEEE 7th International Symposium on Cyberspace Safety and Security, and 2015 IEEE 12th International Conference on Embedded Software and Systems. IEEE, 2015: 1854-1858.

[77] Kundu N, Rani G, Dhaka V S, et al. IoT and interpretable machine learning based framework for disease prediction in pearl millet[J]. Sensors, 2021, 21(16): 5386.

[78] Fontaine J, Shahid A, Elsas R, et al. Multi-band sub-GHz technology recognition on NVIDIA’s Jetson Nano[C]//2020 IEEE 92nd Vehicular Technology Conference (VTC2020-Fall). IEEE, 2020: 1-7.

[79] Liu L, Yu L, Wu D, et al. PocketMaize: An android-smartphone application for maize plant phenotyping[J]. Frontiers in Plant Science, 2021, 12: 770217.

[80] Schmidhuber J. Deep learning in neural networks: An overview[J]. Neural Networks, 2015, 61: 85-117.

[81] Singh D, Banyal R K, Sharma A K. Cloud computing research issues, challenges, and future directions[C]//Emerging Trends in Expert Applications and Security. Singapore, Springer, 2019: 617-623.

[82] Wang Q, Jin G, Li Q, et al. Industrial edge computing: Vision and challenges[J]. Information and Control, 2021, 50(3): 257-274.

[83] Islam A, Debnath A, Ghose M, et al. A survey on task offloading in multi-access edge computing[J]. Journal of Systems Architecture, 2021, 118: 102225.

[84] 林景栋,吴欣怡,柴毅,等. 卷积神经网络结构优化综述[J].自动化学报,2020,46(1):24-37.

Lin Jingdong, Wu Xinyi, Chai Yi, et al. Structure optimization of convolutional neural networks: A survey[J]. Acta Automatica Sinica, 2020, 46(1): 24-37. (in Chinese with English abstract)

[85] Gou J, Yu B, Maybank S J, et al. Knowledge distillation: A survey[J]. International Journal of Computer Vision, 2021, 129(6): 1789-1819.

[86] 彭红星,徐慧明,刘华鼐. 基于改进ShuffleNet V2的轻量化农作物害虫识别模型[J]. 农业工程学报,2022,38(11):161-170.

Peng Hongxing, Xu Huiming, Liu Huanai. Light weight agricultural crops pest identification model using improved ShuffleNet V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 161-170. (in Chinese with English abstract)

[87] 李江昀,赵义凯,薛卓尔,等. 深度神经网络模型压缩综述[J]. 工程科学学报,2019,41(10):1229-1239.

Li Jiangyun, Zhao Yikai, Xue Zhuoer, et al. A survey of model compression for deep neural networks[J]. Chinese Journal of Engineering, 2019, 41(10): 1229-1239. (in Chinese with English abstract)

[88] Ji R, Lin S, Chao F, Wu Y, et al. Deep neural network compression and acceleration: A review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888.

Application status and prospect of edge computing in smart agriculture

Huang Chenglong1, Ke Yuxi1, Hua Xiangdong1, Yang Junya1, Sun Mengyu1, Yang Wanneng2

(1.,,430070,; 2.,,430070,)

A large amount of data has been produced with the rapid development of internet technology. The commonly-used centralized processing has posed rigorous challenges to real-time performance, low energy consumption, and data security. Alternatively, edge computing combined with Artificial Intelligence (AI) can be used to reduce the cost and energy consumption for real-time detection of complex data processing in various industries. Nowadays, agricultural applications combined with deep learning have been widely reported, such as crop disease detection, growth monitoring, yield prediction, and automated management. Edge computing can also be expected to provide more efficient solutions with the rapid development of smart agriculture. In this review, the history, concept, and architecture of edge computing were firstly introduced to evaluate the performance in intelligent agriculture. Specifically, the statistical analysis of the literature volume was carried out until May 2022, including the most reported disease identification and environmental monitoring. Secondly, the main devices of edge computing were summarized, including the Raspberry Pi, FPGA devices, NVIDIA Jetson, and smartphones. The performances of edge computing devices were also compared under different scenarios. Besides, the commonly-used deep learning was selected to promote efficiency and accuracy using the Raspberry pie 4B. Some model acceleration methods were also introduced, including network pruning, knowledge distillation, parameter quantification, and structure optimization. Then, the AI agricultural equipment with edge computing was divided into unmanned aerial vehicle (UAV), ground robots, and portable devices. Three scenarios were considered in the agriculture application, such as environmental monitoring and pest identification, crop growth and yield prediction, and variable operation of intelligent agricultural equipment. Finally, the prospects and key issues were proposed for the edge computing applied in agriculture. Several suggestions were also drawn during this time. Specifically, the edge computing application should be developed with high efficiency and accuracy. The model compression and acceleration can be the key research direction in the model deployment of deep learning. Edge computing devices can greatly contribute to smart agriculture. The cost-saving AI agricultural equipment with edge computing can also be expected to develop for much more application scenarios. The communication protocols and standards between edge devices should be established to realize the cooperative operation of multiple machines. In conclusion, edge computing was still in the initial and rapid development stage in smart agriculture. Edge computing can also provide vital opportunities and challenges for the development of smart agriculture, due to the better real-time, lower cost, and energy consumption, compared with the current cloud computing.

internet of things; edge computing; cloud computing; smart agriculture; deep learning; model compression; model deployment

10.11975/j.issn.1002-6819.2022.16.025

S126

A

1002-6819(2022)-16-0224-11

黄成龙,柯宇曦,华向东,等. 边缘计算在智慧农业中的应用现状与展望[J]. 农业工程学报,2022,38(16):224-234.doi:10.11975/j.issn.1002-6819.2022.16.025 http://www.tcsae.org

Huang Chenglong, Ke Yuxi, Hua Xiangdong, et al. Application status and prospect of edge computing in smart agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 224-234. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2022.16.025 http://www.tcsae.org

2022-05-12

2022-08-11

国家自然科学基金项目(32270431,U21A20205);中央高校基本科研业务费项目(2662022YJ018)

黄成龙,博士,副教授,研究方向为农业技术与装备/植物表型。Email:hcl@mail.hzau.edu.cn

猜你喜欢
树莓边缘部署
一种基于Kubernetes的Web应用部署与配置系统
晋城:安排部署 统防统治
部署
基于树莓派的骑行智能头盔设计
基于树莓派的远程家居控制系统的设计
一张图看懂边缘计算
部署“萨德”意欲何为?
响应面法优化红树莓酒发酵工艺
欧盟:速冻树莓比鲜食树莓市场更好
在边缘寻找自我