基于图像识别技术的北京市设施温室动态监测研究

肖 帅， 郭 嘉， 芦天罡， 唐 朝， 张辉鑫， 刘胤池， 赵志强， 李 响

（1.北京市农产品质量安全中心，北京 100020； 2.北京市数字农业农村促进中心，北京 100021；3.北京市昌平区农业农村事务中心，北京 102200）

0 引言

近几年来，随着大数据、云计算和人工智能等技术的发展，图像识别技术逐渐登上新兴科技的舞台，许多新的技术方法与农业种植实际相融合，为图像识别技术的应用奠定了基础。在农业领域中，大范围、实时、高效地获取农情信息是现代化农业生产和管理的一个重要环节，传统依靠人工采集和有线测量的数据获取方式在实时性、精准性和便捷性等方面均无法满足精准农业的要求。将图像识别技术应用于农业中，实时监测大棚室内环境、作物长势、作物品质等农业生产中的各个环节都有着至关重要的作用。

本项目基于北京市通州区、昌平区、大兴区和顺义区等已实施“数字菜田项目”采集的5 000 个设施温室实时环境数据和图像数据等，开展基于图像识别技术的设施生产状态和作物品种识别研究，构建设施温室生产状态识别模型和作物品种识别模型，并结合北京市设施农业台账信息管理系统设施基础数据，最终集成到北京市种植业综合管理平台，为全市设施温室动态自动监管提供技术支撑，满足政府“谁在种、在哪种、种什么、怎么种、产多少”的产业监管需求。

1 技术路线

项目基于“数字菜田项目”获取到的设施图像数据，依托人工智能图像识别技术，开展了设施温室生产状态、作物品种识别模型的研究及平台搭建工作，建立了模型服务平台，并与北京市种植业综合管理平台进行了数据对接，主要工作路线如图1 所示。

图1 工作路线Fig.1 Work roadmap

模型构建主要包括设施温室生产状态识别模型和设施温室作物品种识别模型。设施温室生产状态识别模型主要包括基于图像分类的设施温室生产状态识别模型和稀缺样本标注环境下设施“大棚房”自动识别模型。设施温室作物品种识别模型主要包括基于可解释深度学习模型的果菜/叶菜分类识别、基于深度学习的设施温室作物品种识别模型[1]。

面向设施温室环境下的状态与作物高效识别，以管理平台所采集的众多温室、作物的图像为基准，通过图像预处理实现数据清洗、扩增和标注。利用图像分类算法识别设施温室生产状态，进而结合图像分割与目标检测，利用图像内土壤与便道比例关系及违禁物品检测精准判别大棚房。针对存在作物种植的图像样本，依据不同作物大类形态与生育特征，进行一级作物分类及具体作物分类。所有步骤均利用增量数据驱动模型动态迭代升级。总技术路线如图2 所示。

图2 总技术路线Fig.2 Overall technical roadmap

2 研究内容

以图像识别技术为核心，面向北京市设施温室动态监测需求，构建了研究内容。

2.1 构建设施温室生产状态识别模型

以设施温室为主要研究对象，综合运用图像分类、目标检测和图像分割等新一代视觉技术赋能，面向种植、休耕、撂荒和大棚房等不同农业生产状态主要开展了以下研究，设施温室生产状态识别模型流程如图3所示。

图3 设施温室生产状态识别模型流程Fig.3 Production status recognition model process for facility greenhouses

2.1.1 高质量设施温室图像数据集构建

高质量的设施温室图像数据集，是设施温室自动化监测的基础[2]。本项目从物联网中台获取了近4 万张温室设施、温室生产状态和作物品种图片，由于大棚房图片较少，因此根据国家规定从违禁物品和便道比例两个方面进行大棚房预警，最终人工筛选违禁物品和便道图像1 793 张，其中违禁物品118 张，便道图像1 675 张。在此基础上综合应用人工识别和图像分类技术，针对设施农业生产状态的监测需求，经过数据清洗、数据标注、数据扩增及构建自动化异常图像检测模型，形成了2 万多张包含种植、休耕、撂荒和大棚房不同生产状态的高质量数据集，其中包括异常图像3 751 张、损坏图像3 100 张、正常图像11 711 张、休耕图像3 172 张、撂荒图像4 254 张、种植图像4 285张、违禁物品图像1 180 张及土壤-便道图像1 675 张。为自动化筛选异常数据以节省人力资源，构建了异常图像检测模型，又在样本集基础上，构建3 种主流异常图像检测模型进行试验对比。最终结果为MobileNet V2 最好，准确率98.15%。

2.1.2 基于图像分类的设施温室生产状态识别模型

为了加强对设施温室生产状态管理，解决温室大棚房出现撂荒、闲置等问题，采集了设施温室不同状态下的图片，分别运用4 种不同的分类模型对设施温室的生产状态进行识别，以此为依据实现对设施温室生产状态智能化管理。项目分别使用MobileNetV2、ResNet50、VGG-16 和ViT 对设施温室的生产状态进行工况识别，验证几种分类网络对设施温室生产状态的分类性能。为了更加直观表现不同模型下设施温室生产状态图像分类的准确性和提取模型性能更多的信息，本项目采用了混淆矩阵。最终结果为工况识别使用MobileNet 分类模型最好，准确率98.43%，能够精准识别撂荒、休耕和种植3 种生产状态，为温室状态监管服务提供基础。

2.1.3 稀缺样本标注环境下设施大棚房自动识别

温室大棚房属于违法违规建设，其定义标准复杂，正因如此，很难通过温室所安装的摄像头采集到足够满足大棚房标准样本用于训练。本项目综合应用目标检测和图像分割技术，针对大棚房的相关政策，分别构建了温室违禁物品检测模型和温室便道比例识别模型，可用于种植规范识别或者撂荒发生预警，如图4所示[3]。

图4 违禁物品识别及土壤-便道识别Fig.4 Identification of prohibited items and identification of "soil access road"

以北京市规划和国土资源管理委员会发布的《大棚类设施农业项目违法违规用地整改标准》为基准，在缺少真实环境图像样本的背景下，结合MSCOCO 等公开数据集制定违禁物品黑名单，分别采用DeepLabv3 语义分割技术通过土壤-便道比例识别温室违建、采用YOLO 目标检测技术识别违规物品，综合判定大棚房，实现覆盖大棚房认定标准高效自动识别方法。基于3 000 余张图片，使用7 种主流模型进行试验对比。最终结果为使用YOLOX 和Unet 模型最好，准确率>90%。经过分析后得出土壤-便道比例阈值35.71%，超出35.71%则有大棚房风险。

2.2 构建设施温室作物品种识别模型

以设施温室作物为主要研究对象，综合运用数据清洗、图像扩展、图像自动化标注和图像分类等新一代人工智能技术赋能，针对10 种常见作物（番茄、芹菜、黄瓜、草莓、茄子、辣椒、油菜、韭菜、红薯叶和苦瓜）开展研究，设施温室作物品种识别模型流程如图5 所示。

2.2.1 面向海量数据标签自学习的图像半自动预处理

针对所采集数据图像标注中耗费大量人力现象、提升数据集泛化支撑能力，采用图像模糊度评价、EISeg 标注平台和多类型变换技术，开展数据清洗、半自动化标注和数据扩增研究，将图片从4 万余张扩充到30 万余张，为后续研究构建体量大、样本丰富、代表性强的训练数据集。

2.2.2 基于可解释深度学习模型的果菜/叶菜分类识别

本项目中涉及分类的作物种类多，而果菜和叶菜等作物大类具有全生育期明显的植株生理性状差异（如高度、覆盖度等）。为了更好地利用模型准确识别出具体作物，构建独立的深度学习模型提前判别果菜/叶菜一级作物，实现作物“粗分类”是本项目的关键问题，为后续具体作物识别模型缩小分类判定范围从而“减负”。针对作物果菜/叶菜种类的“粗分类”问题，以大类作物的生理形态特征为驱动，对比最新网络框架模型的分类精度，结合特征可视化技术，直观展示分类结果所关联的FeatureMap 图像特征区域热力分布，更好地解释模型的运行机制，通过高精度大类作物分类为后续具体作物识别缩小范围实现“减负”。利用果菜和叶菜一级作物20 万余张图片，对比MoblieNet、Resnet 50、VGG 和ViT 共4 种 主 流CNN架构分类网络，其中ViT 模型效果最好，准确率99.71%，并且通过轻量化压缩模型，便于边缘部署[4]。

2.2.3 基于深度学习的设施温室作物品种识别模型

针对设施农业10 类常见作物品种高效分类的问题，采用先进的EfficientNetV2 深度学习分类网络进行作物品种识别。对北京市设施监控云平台收集作物图片进行均衡化扩充与图像增强，然后根据数据量训练相应地合适规模大小的EfficientNet 网络，为后续根据不同的作物品种采用不同的农事管理策略提供基础。利用10 种作物的20 万余张图片，使用EfficientNetV2 模型进行识别，针对10 类常见设施温室作物，每类作物的识别率均达到85%以上，总体准确率89.43%。

2.3 建立设施温室动态监测模块

系统开发采用“模型训练-模型部署-平台对接”的方式。将设施温室生产状态识别模型和设施温室作物品种识别模型与北京市种植业综合管理平台的物联网中台集成，构建设施温室动态监测模块，充分利用北京市种植业各类数据，实现了设施作物生产动态监测服务，设施温室生产状态识别模型应用效果和设施温室作物品种识别模型应用效果如图6 和图7 所示。

3 创新点

（1）面向海量数据的标签自学习下的图像半自动预处理技术应用。项目通过对原始图像进行预处理，实现扩展训练数据体量，进而提升模型泛化能力，进一步结合半自动打标机制，在保证标准准确率的同时，有效减轻人工标注压力。

（2）稀缺样本标注环境下设施大棚房的自动识别技术创新。项目突破了原有对大棚房直接识别的固化思路，提出了采用图像语义分割与目标检测相结合的综合大棚房判定方法，创造性地提出土壤-便道相对比例法识别违建，构建违规物品黑名单，实现违规物品的动态检测。

（3）基于可解释深度学习模型的果菜/叶菜分类识别技术创新。本项目的创新性在于采用“粗分类+特征识别”形式组合构成分类模型，避免过度依赖数据样本和训练模型的单一深度学习模型，提高预测结果准确率，避免直接端对端的黑箱学习过程，解析网络层提取特征，并进行本地化的迁移学习或模型改进[5]。

4 效益及应用前景

4.1 效益分析

4.1.1 经济效益

（1）通过对种植环境的监测、品种分析，可辅助生产和管理技术指导等科学生产管理和标准化种植，有助于建立稳定和适宜的生长环境，减少因环境不适和管理不善导致的减产和品质下降，提升了蔬菜产出规模，保障了产品长势良好、大小均匀、外观一致度高，提高了设施种植的品质等级。

（2）基于种植数据与市场需求数据等综合大数据的分析，指导优化种植结构，合理排产，实现种植产出与市场需求的合理匹配，解决蔬菜上市扎堆、大量蔬菜滞销的问题，保障蔬菜销售价格，减少了因销售不畅所带来的损失。

4.1.2 社会效益

项目利用图像识别技术，构建设施温室生产状态识别模型、作物品种识别模型，可以智能识别生产设施状态（大棚房问题、撂荒、闲置和种植等），生产作物的信息，可以进行设施监管的异常报警，随时摸清生产空间资源底牌，实时掌握生产空间资源的变化、资源利用等动态数据，为全市设施农业监管及补贴发放提供动态化、透明化的数据支撑，有助于推动以奖补带动北京市设施农业产业振兴和乡村振兴的成效，对全市农业供给侧改革工作推进具有重要意义[6]。

4.2 应用前景分析

4.2.1 智能硬件升级，提升智能化服务技术水平

项目构建的设施温室生产状况识别模型和作物品种识别模型可以通过边缘部署等手段嵌入到硬件设备中，实现对硬件设备的升级改造，扩展传统设备的功能，提高智能化服务效能。

《北京市加快推进数字农业农村发展行动计划（2022—2025）》提出，到2025 年，信息技术在设施生产中的应用率达到80%。可见，信息化与农业生产的有效融合应用是未来的主要趋势，信息技术在农业领域的市场需求大[7]。

4.2.2 软件平台部署，强化设施农业数字化监管

项目将物联网技术、图像识别技术等农业智能化技术应用于农情信息的识别与设施动态监测、研究，建立设施温室生产状况识别模型和作物品种识别模型，部署到软件平台中，着力发挥先进软件技术对农业生产空间资源变化、资源利用等动态数据的监控，强化设施农业数字化监管。《北京市“十四五”时期乡村振兴战略实施规划》提出，到2025 年，蔬菜产量达到220 万t，自给率提升至20%以上。可见，设施作物的市场需求量较大，对作物进行数字化监管有利于作物的科学种植，以提高产量[8-10]。

4.2.3 大田场景迁移，保障粮食安全屏障

项目构建了针对设施农业动态监管与服务的技术路径，包括“图像采集-模型构建-模型量化-平台对接”。应用前景较为广泛，其技术路径不仅仅局限于设施温室，还可以推广到其他的场景中去。未来，可以将设施温室的智能化监管与服务的技术手段迁移到大田中去，结合大田实际采集图像及构建大田作物生长参数识别模型，以稳定大田作物产量，提高大田作物质量。

5 结束语

本项目通过构建设施温室生产状态识别模型和设施温室作物品种识别模型，不仅能精准掌握北京市设施蔬菜种植情况和产能情况，还能进一步整合现有北京市农业产业资源，汇集全市农业生产园区生产种植全过程的数据，实现精准且高效的集中监管、远程指挥和决策支持，从而以科技手段助力北京市设施蔬菜发展，推进农业产业振兴、乡村振兴。