基于图像识别的植物物候期自动观测系统平台设计与实现

朱怀卫 卢焕萍 黄光民 王广伦 冯国安

基于图像识别的植物物候期自动观测系统平台设计与实现

朱怀卫1卢焕萍1黄光民2王广伦2冯国安2

（1. 广东省生态气象中心 广东广州 510641；2. 广东省农业气象试验站 广东佛山 528225）

为解决人工观测植物物候期费时费力、人手不足的问题，文章以珠三角地区特色果树和观花树为观测对象，基于图像识别技术构建植物物候期自动识别模型，开发物候期自动识别系统平台。系统平台可实时拍摄采集观测植物全物候期视频和高清图像信息，具备识别高清视频图像实时观测、自动识别结果展示、人工订正、植物科普信息展示等功能。经过一年半时间的调试和功能升级，目前应用平台前期设计功能基本实现。该系统自动化平台的研发减少观测工作量，提升农业气象服务水平，具有一定的业务应用价值。

物候期；图像识别；自动观测；平台设计

广东地区光照、热量、降水等农业气象资源充足[1]，非常适宜花卉和亚热带水果生长。近年来随着人民生活水平不断提高，赏花、摘果等生态农业旅游形式日益兴起，提前预测观赏性花卉开花期和瓜果采摘期[2]，对农业气象服务技术提出了更高的要求[3-4]。目前，我国农业气象观测中物候观测主要依赖人工，存在费时费力，且无法实时连续观测植物物候期生长全过程等弊端[5]。因此，对农业气象的观测方式和服务方式更迫切地提出了自动化、系统化和智能化的要求[6-10]。实现物候期自动化观测技术对物候模型、植物物候期预测技术研发至关重要[5]。

广东省农业气象试验站在物候观测方面经验丰富。1984年1月起，开始对木棉、苦楝、玉兰3种树木以及青蛙、蟾蜍、家燕3种动物开展物候观测，但现有的观测对象无法满足当前农业气象观测业务的需求。因此，基于2019年中国气象局应急减灾与公共服务司审批的广东省农业气象试验站“三农”服务专项项目，在农试站全站内布设8套高清视频物候观测设备，针对荔枝、龙眼、木棉、黄花风铃木等11种广东特色果树和观花树，搭建物候观测对象实景观测站，建设特色果树和观花树木物候观测系统，完善农业气象观测体系。

该植物物候观测系统首先基于广州、东莞、茂名等地历年荔枝、龙眼等全生育期物候期图像观测资料，人工标注图片样本物候期特征并初步建立样本数据库，构建物候期识别模型；其次，布设高清物候观测设备建设植物物候实景观测站，实时观测并采集植物实时生长图片，建立样本图片数据库，对后期提高植物物候期识别模型精度及更好地提供农业气象服务具有重要的意义。

1 设计思路

针对广东省农业气象试验站内当前的种植树种确定观测树种对象，采集并分类标记物候期图像，建立物候期图像数据库。采用在机器视觉领域兴起的，对二维图像识别具有独特优势的卷积神经网络，对采集的物候观测图像进行自动分类识别，建立基于机器学习的植物种类和生长期自动识别系统。

2 系统模块设计

物候期自动观测系统各分系统和模块共由8个部分组成。分别是：实景观测系统、负载均衡识别模型、数据清洗模块、图像剪裁拆分模块、图像识别模块、图像分类模块、周期分析模块和显示模块，具体介绍如下。

（1）实景观测系统：实时采集植物每日生长图像信息，搭载8台高清摄像机拍摄11种植物，后台设置每台摄像机的角度及时间，多角度采集多品种植物图像，初步建立覆盖11个树种的植物图像样本数据库。

（2）负载均衡识别模型：实时读取实景观测系统采集的图像数据，创建识别进程作业（流程：①创建request识别接口请求→②建立nginx分配计算机制→③依据植物标识ID递归待处理源图片数据→④读取输入源数据创建识别进程作业）。

（3）数据清洗模块：判断植物图像文件有效性，删除并清理不具备有效性的样本图像。

（4）图像裁剪拆分模块：裁剪和拆分植物采集观测的图像。

（5）图像识别模块：该模块是植物物候期自动观测系统的核心功能模块。首先轮询获取图片，输入主要物候期识别模型并识别图像物候期特征，输出特征权重≥0.5的主要物候期识别模型识别结果。主要物候期识别模型检索出的识别结果输入图像分类模块整合或排序输出结果，输出识别结果包含主要物候期识别模型检测目标物候期进入周期分类模块，并分析判断植物当前物候期，若输出结果不包含主要物候期识别模型的检测目标物候期，直接回到图像裁剪模块，待识图像原图输入特殊物候期识别模型，识别图像物候期特征。技术路线如图1所示。

（6）图像分类模块：统计整合并排列物候期识别模型输出的物候期特征检索结果。

（7）周期分析模块：判定植物当前所处物候期。

（8）显示模块：实时显示监控植物物候生长图像数据和物候期自动识别结果。

图1 植物物候期图像识别技术路线图

3 系统界面实现

开发植物物候期自动观测系统平台用于对植物物候期自动识别结果进行展示，主要设计六大功能界面：系统首页、观测识别、订正记录、资料归档、科普资料、系统设置。模块架构详见图2。同时具备植物物候自动观测、物候期自动识别、存储、订正、管理、科普等功能。平台功能界面具体介绍如下。

图2 植物物候期自动观测系统平台功能架构图

3.1 系统首页

该界面主要用于展示观测区域实时全景，具备720°旋转、放大和缩小功能，且首页全景图上每个观测植物采用定位点图标标识，并在定位点右侧显示植物名片信息：图片实况+植物名称+当前生长周期+下个物候期预计时间。系统首页界面效果图详见图3。

图3 物候期自动观测系统首页界面效果图

3.2 观测识别

该界面是植物物候期自动观测系统核心技术的展示界面，主要用于显示植物实时或历史生长图像数据和物候期识别结果信息，识别结果信息包括：植物物种名称、当前物候生长期、该物候期生长特征、时间跨度、识别周期等。此外，该模块可实现识别结果订正、历史观测图像及视频查询、植物物候期时间轴、植物物候期识别结果二维码溯源等展示功能。荔枝和龙眼观测识别界面效果图详见图4。

图4 物候期自动观测系统观测识别界面效果图（荔枝和龙眼果实成熟期）

3.3 订正记录

该界面主要用于管理并记录观测识别模块中植物物候期识别结果的人工订正信息。实时切换多种植物图片通过查看详情，显示订正记录识别结果和订正结果列表信息，包括识别次数、识别时间、人工订正次数、人工订正时间等，列表格Excel导出用于统计植物物候期周年统计。

3.4 资料归档

该界面主要用于存储历史观测图片和展示植物观测结果归档形成的生长报告和观测报告，生长报告和观测报告实现自动生成和下载功能。资料归档界面效果图详见图5。

图5 物候期自动观测系统资料归档界面效果图

3.5 科普资料

该界面主要用于科普图文介绍观测植物相关知识，包括品种科属、植物花（果）期、形状特征、功能用途、地理分布信息等。科普资料界面效果见图6。

3.6 系统设置

该界面主要用于管理科普资料信息、观测区域全景信息、人员权限信息、识别结果信息等。管理后台界面效果见图7。

图6 物候期自动观测系统科普资料界面效果图

4 结语

（1）为提高物候观测数据的质量和规范性，解决物候观测中人手不足、效率低、费时费力的问题，采用卷积神经网络法自动分类并识别采集的物候观测二维图像，建立基于机器学习的植物种类和物候期自动识别系统。

（2）本研究植物物候期自动观测系统平台共设计六大功能界面：系统首页、观测识别、订正记录、资料归档、科普资料和系统设置。

（3）基于实时拍摄的植物图片，自动识别并输出植物当前物候期结果是本观测系统平台设计的核心内容之一。

（4）后期进一步获取多个植物物种的周年图像样本，人工标定图像中物候期特征，进而构建多个物种的物候期自动识别模型及提高模型物候期自动识别结果的精度，后续的工作中将更好地改进和完善。

（5）目前，广东省气象为农服务农情调查业务工作，多以传统人工调查实地调研为主。长期以来，人工观测在观测频次、记录方式、观测技术手段、观测精度等方面，还无法满足数字农情监测以及种植气象服务的要求。植物物候期自动观测系统平台核心在于物候期自动识别技术，该平台果树（荔枝和龙眼）物候期识别技术成熟，具有普遍适用性，适合在全省农情调查物候期观测业务中推广。全省多点布置物候高清观测摄像机，一方面可以全天候24 h内监测植物长势，实时自动化识别出物候期，另一方面助力构建全省果树（荔枝和龙眼）物候期自动化观测网络体系。

[1] 国效宁. 广东省农业气候资源特点及主要气象灾害分析[J]. 广东农业科学, 2013, 40(6): 181-185+237.

[2] 刘俊, 李云云, 刘浩龙, 等. 气候变化对成都桃花观赏旅游的影响与人类适应行为[J]. 地理研究, 2016, 35(3): 504-512.

[3] 李颖, 陈怀亮. 机器学习技术在现代农业气象中的应用[J]. 应用气象学报, 2020, 31(3): 257-266.

[4] 王高芳, 牛永波, 裴克莉, 等. 物联网技术在农业气象服务中的应用[C]. 第35届中国气象学会年会S14大数据、互联网、融媒体时代气象服务的创新与变革——第八届气象服务发展论坛. 北京: 中国气象学会, 2018:3.

[5] 周运丽. 果园物候期自动观测系统初步研究和实现[J]. 中国新通信, 2018, 20(22): 136.

[6] 赵晓妮, 张艺博, 姚俊强. 锚定目标加快推进气象科技创新[N]. 中国气象报, 2022-05-25(001).

[7] 余卫东, 杨光仙, 张志红. 我国农业气象自动化观测现状与展望[J]. 气象与环境科学, 2013, 36(2): 66-71.

[8] 阿衣敏·沙依热特, 卡木塞亚·扎木在, 恰力哈尔·霍赛. 我国农业气象自动化观测现状与展望[J]. 现代农村科技, 2017(9): 85.

[9] 李要中, 刘钧, 马尚昌. 基于AM335X的农作物气象自动观测系统设计[J]. 气象科技, 2017, 45(5): 818-824.

[10] 张雪芬, 农业气象自动化观测系统[Z]. 北京: 中国气象局气象探测中心, 2014-12-18.

Research and Implementation of Automatic Plant-phenological Observation System Based on the Image Recognition

ZHU Huaiwei1LU Huanping1HUANG Guangmin2WANG Guanglun2FENG Guoan2

(1. Guangdong Ecological Meteorology Center, Guangzhou, Guangdong 510641, China; 2. Guangdong Agro-meteorological Experimental Station, Foshan, Guangdong 528225, China)

In order to solve the problem of time-consuming and manpower shortage in observing plant phenophases manually, taking flower-appreciating and fruit trees as the observational object, build automatic recognition models based on the image recognition technology and developed the automatic plant-phenological observation system. The platform captures video and high-definition image information of plants during the total phenology in real-time, had these basic features such as real-time observation, automatic recognition result display, correction of results manually, popular science information display for plants. After a year and a half of debugging and upgrading, the pre-designed functions are now basically implemented. The automatic platform alleviates the daily workload of plant phenology operational observers and improve agricultural meteorological services, which is full of certain business application value.

phenological period; image recognition; automatic observation; platform design

Q948

A

10.12008/j.issn.1009-2196.2022.09.014

2022-04-24；

2022-05-24

广东省气象局科学技术研究项目青年基金（No.GRMC2020Q06）；广东省生态气象中心科学技术研究项目（No.2150400004）。

朱怀卫（1992—），女，硕士研究生，中级工程师，研究方向为农业气象与气象应用等，Email：zhuhuaiwei214@163.com。

（责任编辑 龙娅丽）