基于Paddle Lite 的太湖莼菜检测测试平台设计

陶杰，陈啟源，朱恒通

（苏州农业职业技术学院，江苏苏州，215008）

太湖莼菜是多年生水生植物，为苏州地方“水八仙”之一。口感鲜美，营养丰富，为珍贵蔬菜。莼菜在高温期间生长快，进入盛采期。因其长在水中，覆盖胶质，柔嫩易滑，需要采摘者技术熟练，眼明手快，苏州东山当地有“捉莼菜”的说法[1]。采摘工人要经受高温日晒、双手终日泡在水中的辛苦。熟练采摘工缺乏，来不及采摘的莼菜只能老去不能食用。目前莼菜种植面积日益萎缩，迫切需要智能化采摘设备跟进。

本文以苏州东湖莼菜厂的莼菜种植试验槽作为载体，以试验槽内5 月～9 月生长的莼菜作为识别对象，采用深度学习技术确定图像检测模型，实现莼菜智能化识别，设计适用的检测定位装置，为后期的莼菜采摘设备研制提供基础实验。

1 试验系统组成

测试系统主要包括载有水下摄像头的横向行走机构、竖向调整机构，可以沿种植槽移动，并上下调整摄像头位置。如图1 所示，水下摄像头通过10m 数据线连接到Andriod平板，实时识别检测到莼菜的位置后，将图片中最大目标的识别框坐标及宽、高参数，通过WiFi 发送到运动控制终端，运动控制终端驱动纵向、横向步进电机，带动纵向丝杆末端的摄像头在一定行程内移动，使得检测出的识别框位于图片正中位置。

图1 检测系统组成示意图

运动控制终端采用Arduino，连接串口转WiFi 模ESP8266，步进驱动FYQM302，其中纵向电机采用型号FY42EC220 丝杆电机，步距角为1.8°，丝杆直径8mm，导程4mm，保持力矩达到0.65Nm，丝杆行程400mm，并配置上限位开关KW12，作为丝杆零点位置。控制器接线如图2 所示，图中只标注了纵向电机驱动器的连线，横向电机驱动器接线类似。串口TXD、RXD 分别连接ESP8266 的R、T 引脚[2]，实现串口连接。D5 作为输入引脚，连接行程开关一端，其另一端接地，由软件初始化设置其内部为上拉电阻；D8、D9、D10 作为输出引脚，分别接步进驱动器使能、方向、脉冲控制端。

图2 运动控制终端控制器接线示意

2 运动控制终端程序设计

运动控制终端，主要根据接收的WiFi 指令，完成两类运动控制。一是根据识别框坐标，自动调整，使得最大识别对象移动至图片中央位置；二是根据平板界面上的手动调整指令，横向移动、纵向移动。为保证通信正确，制定较完整的上层协议。上层数据帧格式规定如图3 所示。

图3

其中，起始符、结束符分别为02H、03H，各占1 字节；控制码对应各任务类型（如01H 表示自动运行情况、02H 表示手动横向运行启动、12H 表示手动横向运行停止；03H 表示手动纵向运行启动，13H 表示手动横向运行停止）；数据域D 占用两个字节，在自动运行时，分别表示横向、纵向移动距离，在手动运行时，数据域首字节以0x00 填充，末字节表示运动方向，0x00 为正向，0x01 为反向。和校验CS 占1 字节，取其前3 字节之和的低字节值。

控制程序包括一个主控轮询程序，和一个定时中断子程序。控制器的主流程图如图4 所示，初始化时，两个电机均反转至限位开关触发，判定零点，依此计算出最大行程，在后续电机运动子程序中判断行程是否超限。设置串口的串口数据格式为8 位数据位、1 位停止位、1 位偶校验位，波特率设为115200。通过串口类库函数available()，判断串口2 缓冲是否有新的接收数据。如有对接收数据，校验合格后分析上层数据帧。根据指令码分析电机是自动运行或手动运行，由自动运行子程序根据执行步数计算电机的当前起停状况，手动运行子程序控制当前电机的起停状况。

图4 运动控制终端主流程图

定时中断子程序控制两个电机的脉冲输出状况，采用第三方库TimeAlarms 实现定时，由Alarm.timerRepeat()指令设定定时时间和中断回调函数[3]。中断子程序根据主程序中设定的情况，即时控制PWM和方向引脚上的电平状态。

3 莼菜检测模型训练

在苏州东山莼菜基地，采用桑巴达 Y102 水下摄像头收集种植槽内莼菜图片1000 余张，种植槽水深0.75m，图片采集位置位于水下0.1m 至0.6m，采集时间为夏季上午9:00 至下午16:00 光线较强时间段。图片经过筛选，标注识别对象，选择形态较好的、商品标准级别较高的、横向或纵向尺寸大于图片一半的莼菜进行标注识别对象，同一图片中若有多个符合要求的识别对象，选择尺寸最大的三个对象标注，多个标注可以部分重叠。并经过旋转、对称翻转等方法进行数据加强，最后选取1500 张图片，形成PaddlPaddle标准数据集。图片及识别对象标注框如图5所示。

图5 莼菜水下图像标注

由飞桨BML 全功能AI 开发平台训练，采用Python3.7，开发框架为paddlepaddle-v2.3.0，采用PPYOLO 算法，图片尺寸Inputsize 为320×320[4]。在建议阈值0.7 时，训练模型的评估指标F1-score 值识别准确率最大，F1-score=2*(P*R)/(P+R)。如图6 所示，训练模型的F1-score 值与阈值关系训练后的mMAP 98.8%，精确率P=99.0%，召回率R=98.5%，满足种植槽水下环境的一般检测需要。

图6 不同阈值下的F1-score 值

就莼菜采摘任务而言，莼菜不需要完全采干净，适当保留嫩叶有助于莼菜生长，采摘过程中尽量不要采错，以减少后期挑拣任务。所以提高阈值，模型中阈值可设置为0.9。

4 Andriod 端程序编写

通过Paddle Lite 离线转换工具，将Paddle 检测模型优化为适合的Paddle Lite模型，Paddle Lite 是一种轻量级、灵活性强、易于扩展的高性能的深度学习预测框架，支持诸如 ARM 等多种终端，具有图优化及预测加速能力[5]。本项目在paddle 提供的检测案例程序更新检测模型，实现检测功能。为后续的案例模型替换方便，使用平台提供的opt 工具，优化后的模型文件名设置为model.nb，与案例中原模型同名。

在Andriod Studio 中配置最新版本的NDK 和CMake，下 载Paddle Lite 预测库 和模型案例，在Andriod Studio 中打开，编译并安装案例APP，测试案例的图片识别和标注。成功后，进行检测案例内容替换更改，主要是识别模型和参数更改；编写需要新增的操控程序。

从github.com/PaddlePaddle/Paddle-Lite 平台上下载检测案例。在Andriod Studio 中打开，参照平 台教程，根 据Android demo 示例的代码结构提示，将优化后的检测模型在原案例路径下以相同名字替换，以及对应的识别模型标签文件。本项目中训练模型中检测对象只有莼菜这一类，还需要更改输出案例中的 tensor 个数、更新输出 shape。

在识别函数Detector::Postprocess(std::vector