基于视觉识别模块的智农惠农大棚采摘助手设计

苑立娟 韩秋诺

摘要：新型的农业生产方式和技术促进了农业的发展和社会的进步，同时随着计算机技术的普遍应用，越来越多的技术人员开始对智能化、机械化的农业生产工作进行研究，视觉识别、自动采摘更是成为重点研究方向。文章设计的智农惠农大棚采摘助手通过机械臂配合视觉识别模块实现农作物的采摘，同时为了使农作物在成熟期得到更好的管理，该系统还配有环境检测以及喷药施肥功能。该系统适用于农业大棚机械化工作，可以提高工作效率，减少人工投入，实现农业生产智能化。

关键词：智能采摘；环境检测；自动施肥

中图分类号：TN108.4  文獻标志码：A

图1 系统方案设计

0 引言

农业是一个国家的基础，随着科学技术的飞速发展，机器人已开始逐步应用于农业生产，特别是设施农业生产过程中，这标志着农业生产已开始向智能化和自动化方向发展［1］。在整个农业生产过程中，农作物成熟期的管理以及后续采摘环节至关重要。在传统的农业生产劳动中，农作物成熟期的管理及采摘工作主要依靠自然条件和人力劳动，这已经不能满足现代人们对农业生产的需求。基于此背景，本文将安卓技术与下位机结合，连接多种传感器，设计了一款大棚采摘助手，它可以实现环境检测以确保农作物最佳生长条件，实现施肥喷药保证农作物更好生长，最后进行智能化采摘。

1 系统原理及方法

1.1 系统设计

本系统由安卓上位机、机械臂及下位机组成。下位机包括多种检测控制模块和无线通信模块。其中有环境温湿度传感器、CO2传感器和光敏传感器，主要负责采集棚内的温度、CO2浓度、光照强度信息。视觉识别模块配合机械臂完成对农作物的识别定位以及采摘工作。通信部分采用ESP8266 WiFi模块，仅需要通过串口使用AT指令控制，就能满足大部分的网络功能需求，致力于移动终端和物联网技术应用，可将客户设备接入WiFi网络，与互联网和局域网络通信，完成连接网络的作用。

本系统的工作原理为主控芯片外接各种传感器模块采集信息数据，利用WiFi远程传输数据到移动端。在农作物的整个生长阶段，用户可以在移动端检测大棚内的环境信息，也可以控制采摘助手进行喷药施肥操作，以便于使农作物得到更好的管理培育。待农作物成熟后，控制采摘助手进行采摘工作。

1.2 系统功能

本系统通过下位机采集周围环境信息，WiFi模块进行通信，在安卓App上可以检测到数据信息以及控制采摘助手进行采摘、喷药施肥。

具体实现的功能如下：

（1）温湿度传感器、CO2传感器、光敏传感器分别采集大棚内的温度、CO2浓度、光照信息。

（2）视觉识别模块实现对农作物的识别及定位，配合机械臂完成采摘工作。

（3）WiFi通信模块实现上位机与下位机之间的通信，在App手机上实现温度、CO2浓度、光照信息的实时监测。

（4）手机App可以控制舵机转动，使肥料从出口落下，实现自动施肥。

（5）采用无线远程控制技术，对农作物进行自动喷洒农药工作。

1.3 系统创新

（1）本系统突破了传统的农作物管理培育方式和采摘方式，实现了智能化管理、机械化采摘，提高了采摘效率，减少了人工投入成本，满足人们对农业生产的需求。

（2）本系统采用无线远程控制技术实现对采摘助手的远程控制，可以实时检测环境数据，可以随时随地进行自动化采摘、施肥喷药操作。

（3）传感器采集到的数据实时传递到手机App，数据清晰明了。

（4）操作界面采用图形化界面，功能强大且容易上手，方便高效。

2 系统硬件设计

2.1 信息采集设计

信息数据采集设计方案涉及的模块主要包括温度传感器、光敏传感器和CO2传感器。DHT11温湿度传感器是一种带有数字信号输出校准的温度传感器。其温度误差在检测温度2℃左右，温度测试范围在-20℃～+60℃。它可以实现对棚内温度信息的采集。本项目使用光敏传感器实现对棚内光照强度信息的采集。它的工作原理为利用光敏元件将光信号转换为电信号，包括红外线波长和紫外线波长，它的敏感波长在可见光波长附近。该传感器具有灵敏度高、驱动能力强等特点。CO2是植物进行生长的必需气体，而一般大棚中CO2浓度过低，使用CO2传感器可以检测CO2含量，同时传输到手机App。

2.2 通信传输设计

通信传输设计部分选用ESP8266WiFi模块，它自带了完备的TCP/IP协议栈，用户可根据该协议栈在原有设备中提升网络功能，搭建单独的网络控制器。该模块应用串口（LVTTL）与其他串行通信系统进行通信，还可以在串口和WiFi之间转换。该模块适用串口转WiFi STA、串口转AP、WiFi STA +WiFi AP方式，能够快速搭建串口转WiFi传送数据方式。通过该模块实现上下位机的通信，并且实现温度、光照、CO2浓度的显示以及能够远距离控制采摘助手。

WiFi接线：连接模块的GND和VCC，CH_PD脚拉高，GPIO15（在没有GIO15的系统中，可忽略此步）拉低，系统即可启动，默认系统运行AT指令，接收客户的指令。

2.3 自动控制设计

自动控制设计部分主要有两部分：一是识别采摘；二是施肥喷药。

2.3.1 识别采摘

识别采摘系统由机械臂和视觉识别模块两部分组成，视觉识别模块通过Micropython语言对农作物进行定位和识别，当识别到农作物时配合机械臂完成采摘工作。

（1）机械臂。

机械手臂重500 g，精密度为0.2 mm，采用3台步进电机驱动，拥有两个角度传感器，下位机控制板选用arduino&FPGA。通过该协议，机械臂可以通过WiFi通信，完成对农作物采摘任务。

电池及机械臂参数如表1—3所示。

（2）视觉识别模块。

开源的机器视觉框架（Open Machine Vision，Open MV）是一种开源、低成本、功能强大且体积小巧的视觉识别模块，以STM32F767为核心处理器，集成OV7725摄像头［2］。在非常小巧的硬件模块上，利用C语言高效实现核心视觉算法，提供Python编程接口，使用者可以利用Python语言，使用Open MV提供的视觉功能。Open MV被安装在采摘助手上，随着采摘助手的移动，发现需要采摘的农作物时，Open MV会将数据通过串口发送给Arduino单片机，Arduino单片机执行编程好的动作组，控制机械臂采摘农作物并放置在托盘中［3］。

Open MV被定位于“带机器视觉技术的安卓系统”，还可以操纵其他硬件配置、MCU模块，例如Arduino，Raspberry Pi等。它还可以由别的MCU模块操纵。通过这些特点，人们能够很灵活地将它与其他流行的模块相互配合，开发繁杂的产品功能。

Open MV上的机器视觉算法包括寻找色块、人脸检测、眼球跟踪、边缘检测、标志跟踪等。Open MV还可以用作非法侵入检测与伪劣产品的挑选，跟踪固定的标记物等［4］，采用易于上手的Python编写，降低了用户的开发难度，可轻松地完成与各种机器视觉相关的任务［5］。

2.3.2 施肥喷药

该系统通过ESP8266WiFi模块发送信息控制喷药、施肥，实现远距离操作。通过手机App控制舵机的转动，使得化肥从出口落下，进而实现自动施肥功能。

3 系统软件设计

3.1 系统软件开发环境

本项目的开发工具选用的是Arduino.exe。Arduino是一个便捷、灵便、实用的开源电子器件原型服务平台。它包括硬件配置（各种类型Arduino板）和软件（ArduinoIDE）。它内置在开源简单的I/O插口版本，具备类似Java和C语言的处理方法和自然环境，包括两个关键部分：一部分硬件配置为Arduino电路板，适合于线路连接；另一个是Arduino IDE，程序流程开发自然环境。只须在IDE里写完编程代码，把程序上传至Arduino主板以后，便可执行操作。操作人员注意选择相应的开发板和端口，加载相关机械臂控制的库文件，上传代码时，需要将Arduino Mega2560通过连接电脑USB接口。

3.2 手机App设计

在开发安卓手机软件的过程中，手机软件开发者往往需要应用Java语言开展程序编写和开发。在市场中，默认的Android移动App需要由Linux在其中全自动运行，假如在具体运行过程中需要取代Linux運行，往往会自动启动程序流程。可是，假如代码错误且不能正常运转，手机 App应用程序将终止。根据安卓系统移动App自觉性的需求，务必不影响或毁坏别的App［6］。

3.3 移动终端配置

下载并打开手机App，设置IP地址和端口，点击连接WiFi，可实现手机端对大棚内的温度、CO2浓度和光照信息的实时监测，然后配置各个按键所发送的字符来控制机械臂进行采摘、喷药和施肥。

3.4 机械臂和arduino通信配置

由于机械臂提供了相应的串口供用户进行二次开发，所以可用Arduino mega2560控制机械臂。利用杜邦线分别将机械臂的RX、TX、GND与Arduino mega2560的TX、RX、GND接到一起。需要注意的是，由于串口3和串口2底层的库函数里已经占用，所以在连线时，Arduino mega2560应该连串口0或者串口1。

4 结语

本文设计的智农惠农大棚采摘助手具有自动化采摘、施肥、喷洒农药、棚内环境数据检测的功能，对于农作物生长成熟阶段的管理培育和后续采摘有很大的作用，可以广泛应用于农业大棚、植物园等场所。但面对农业市场需求的日益变化，该智农惠农大棚采摘助手仍存在许多不足，比如笔者对农业市场的需求分析还不够细致，本身对智能机器人的认识不够，系统体系不健全、推广能力不足等问题，需要不断改善其功能以顺应社会的快速发展［7］。本项目设计的大棚采摘助手系统十分可靠，且具有准确率高、稳定性好、操作简单快捷、可维护性好等优点，同时加上国家对人工智能、物联网等技术的支持，前景必然广阔。

参考文献

［1］项荣.开放环境中番茄的双目立体视觉识别与定位［D］.杭州：浙江大学，2013.

［2］同世雄，秦玉伟，肖康.基于视觉识别的乒乓球拾取机［J］.电子设计工程，2022（13）：146-150.

［3］崔志远，曹文康，张志高，等.基于视觉识别的水面垃圾处理装置［J］.智能城市，2022（8）：1-3.

［4］庄琼云.基于OpenMV的智能寻迹小车设计与实现［J］.黎明职业大学学报，2018（4）：80-84.

［5］朱伟枝，杨亚萍，陈智.基于OpenMV的智能小车路径规划及定点摆放棋子的设计［J］.机电工程技术，2020（7）：126-128.

［6］秦蓉.基于Java语言的安卓软件开发研究［J］.电子技术与软件工程，2021（5）：44-45.

［7］金周英.关于我国智能机器人发展的几点思考［J］.机器人技术与应用，2001（4）：5-7.

（编辑 王雪芬）

Design of picking assistant for intelligent agriculture and benefit agriculture greenhouse

based on visual recognition module

Yuan  Lijuan， Han  Qiunuo

（Baoding University， Baoding 071000， China）

Abstract： New agricultural production methods and technologies have promoted the development of agriculture and the progress of society. At the same time， with the widespread application of computer technology， more and more people begin to study intelligent and mechanized agricultural production. Visual recognition and automatic picking have become important research directions. In this paper， the picking assistant of intelligent agriculture and benefiting farmers greenhouse is designed to harvest crops through the mechanical arm and visual recognition module. At the same time， in order to better manage crops in the mature period， the system is also equipped with environmental detection and spraying fertilization functions. This system is applicable to the mechanization of agricultural greenhouses， which can improve work efficiency， reduce manual input， and realize intelligent agricultural production.

Key words： intelligent picking; environmental testing; automatic fertilization