基于手势识别的智能农业采摘控制系统设计*

吕怡秋

（宁夏工商职业技术学院，宁夏 银川 750000）

远程操控机械臂代替人工在极限环境下作业，对保障人员安全与提升作业效率具有重要意义。在智能传感技术不断发展的背景下，采摘机器在农业领域拥有了更多的应用机会。采摘器是以待采摘作物为对象，融入人类肢体动作与感知功能的机器，能够降低作业强度，提升作业效率[1]。传统的远程采摘机器多应用遗传算法或A*算法对农作物成熟情况进行判断，识别精度较低且需利用布线方式，在采摘环境的影响下有时无法大规模布线，从而导致采摘机器受到限制[2]。手势是较为直观的交互手段，可通过手势识别动作信息，体现操作意图。基于手势识别的采摘机器，利用计算机、摄像与通信设备便可完成手势信号的收集、识别与跟踪，成本低廉、操作稳定[3]。鉴于此，本文设计了一种依托手势识别的智能农业采摘控制系统，可以由操作者远程判断待采作物，通过手势指令操控机器进行采摘。

1 整体设计

如图1 所示，智能农业采摘控制系统包括控制层与被控层两部分。控制层由主机、无线传输模块以及EMGPro 肌肉电手势识别手环组成；被控层由采摘机械臂、电机驱动器、无线传输模块以及AT89C2051-24PU 微控制器组成。智能农业采摘控制系统的工作流程为：

图1 系统整体框架

1）控制层与被控层完成初始化，被控层开启摄像机后由图像收集设备对待采作物进行信息收集，并由AT89C2051-24PU 通过无线传输模块将信息发送到控制层。

2）控制层通过无线传输模块将收集到的信息显示在主机屏幕上[4]。

3）操作者通过手势决定是否采摘作物，握拳代表采摘作物，张开代表不采摘作物。

4）提取手势特征，通过滤波算法分析手势后，判断是否采摘目标作物[5]。

5）主机将采摘指令通过无线传输模块发送到被控层，待其接收到信息后根据指令操作，若未采摘则发送信号，由电机驱动器控制机械臂进行采摘；如果判定为不采摘，则移动高分辨双目摄像机聚焦下一个目标农作物。

2 手势信号收集与处理

2.1 信号收集

手势信号属于微弱的生物信号，是手势动作在时空上的累积。根据检测电极与位置的不同，手势信号可分为针电极与表电极[6]。收集时仅需将电极贴在手臂上便可收集到手势信号，信号质量强弱能够判定是否准确，所以需要在能够产生较多手势信号的手部肌肉群附近收集信号。为使信号更为准确，可使用EMGPro 手环获取手势信号，该手环与皮肤直接接触，传感器能够将收集到的信号降噪处理后转化为数字信号，并将其传输至控制层；控制层收到信息后，通过特征提取与分段检测对其进行进一步分析，在确定手势后由采摘机器完成其余工作。传感器信号收集流程如图2 所示，EMGPro 具有较小的极化电压，所获信号相对稳定。本设计的通道由平行的两片电极构成，在噪声影响下输出信号易饱和，故可将放大信号经低通转换后接入高通滤波[7]。

图2 传感器信号收集流程

2.2 算法应用

1）提取特征。分段处理传感器信号，为满足机器控制，对连续重叠窗口之间进行延迟处理，从各时间窗口提取时域特征d，可用公式表示为：

其中，t表示时间，n表示时间样本，l表示样本窗口长度。

2）分析成分。分析成分能够实现数据正交转换，通过使用方差矩阵的特征向量获取全新数据集[4]。在研究过程中，通过在测试子集中划分传感数据进行变量处理。将新变量应用于手势信号子集|x|进行成分系数计算，可用公式表示为：

其中，c表示提取特征量，f1表示单模，f2表示2个组合。

3）动作分类。为提升手势识别精确度，分别采用遗传算法、A*算法与图像滤波算法进行综合测试，通过时间窗口精度来评价系统性能，从而选择更为合适的算法。在遗传算法中，数据集中的样本存在类型输出，可对不同超平问题进行计算，将数据线性划分为各种“类”，防止因矩阵问题而出现误差[8]；A*算法仅能对单一超平问题进行计算，但可同时进行数据分类，由此使分类误差显著降低；而图像滤波算法则属于非线性分类，由神经元连接得到较大的算法空间。

在三类算法中，遗传算法、A*算法与图像滤波算法的分类精度分别为85.3%、87.2%、94.7%，所以，采用图像滤波算法进行手势识别。

3 机械臂设计

在系统内，被控层主要负责驱动机械臂完成采摘。为精准控制采摘，采用6 个电机驱动机械臂，其中，2个电机负责实现旋转功能。

3.1 夹持器

机械臂负责采摘作物，而采摘动作由夹持器完成[9]。夹持器由机械手、驱动器、电机等部件组成，其中有2 个电机，一个负责夹取作物，另一个则负责连杆旋转。电机可用于多类型变化场景，内部包括马达、轴承以及电位器等。

夹持器电机结构如图3 所示，AT89C2051-24PU发送信号，抗干扰电位器控制电路将其与基准信号进行叠加，产生驱动马达的直流电压，将直流电压与电位器电压比较得到电压差，电压差决定了电机的正反转。当电机转速一定时，可以通过减速齿轮带动电位器旋转，同时驱动马达，实现对机械臂的控制以及对电机正转与反转角度的精准操控[10]。

图3 夹持器电机结构

3.2 驱动器

除底座电机之外，其他部分还有数个电机，驱动器采用四杆型结构，其具体运行原理如图4 所示。基于液压力的传递与转换，液压油通过电机产生压力进入第一级杆，推动活塞运动。当第一级杆的活塞到达特定位置时，液压油会进入第二级杆，随后推动第二级杆的活塞运动。同样，当第二级杆的活塞到达特定位置时，液压油会进入第三级杆，随后推动第三级杆上的活塞运动。通过传递与转换，液压油的压力被逐渐放大，从而实现了较大的推力和位移。

图4 驱动器运行原理

在图4 中，4 个不同的杆件矢量正交分解之和形成闭环，可用公式表示为：

其中，k1、k2、k3、k4表示不同的杆件矢量，a1、a2、a3表示相邻杆件的夹角。根据图4 所示的运行原理与公式（3）的参数，可得出转角与被控杆件的速度，从而使机械臂能够平稳运行。

4 系统实验

为验证系统是否合理有效，在某种植园内进行远程采摘实验，全程监控实验步骤。在实验中，采摘机器在种植园内移动，操作者在机房进行远程操控，具体手势如图5所示。

图5 操作者远程操作手势

当识别到不采摘动作时，机械臂会向后移动一个单元长度；当识别到采摘动作时，机械臂会向前移动一个单元长度并摘下目标作物。在实验过程中设置目标值，将两组手势信号通过输出过程得到实际值，随后比较两类值的误差，通过图像滤波算法合理调整输出权值，从而使识别准确率得以提升，手势信号的特征值如表1所示。

表1 手势信号特征值

为验证算法性能，将其与遗传算法和A*算法应用下的农业采摘控制系统进行比较分析，验证结果如表2所示。

表2 不同算法下的系统性能比较

由表2 可知，识别准确率与采摘准确率之间存在正向关系，因此，手势识别是对采摘准确率产生影响的主要因素。在实验中发现，图像滤波算法的识别时间仅为0.3 s，远低于其他两种算法的4.1 s 与3.5 s；识别准确率高达96%，远高于其他两种算法的94%与92%。从总体上看，图像滤波算法在系统应用中更具有优势。

5 结语

综上所述，采摘机器在无法实现人工采摘的复杂环境下需借助远程方式进行控制，以使其有效开展采摘工作。为优化系统性能，课题组进行了基于手势识别的智能农业采摘控制系统设计研究，在系统设计中，引入了图像滤波算法，将手势识别与远程操控机械臂结合，通过高分辨双目摄像机收集手势图像信息并提取特征，将其转化为电机控制命令后发送至控制层，实现了对机器的远程操控。实验表明，本系统的手势识别准确度更高，可提高作物成熟判断准确率与采摘效率，具有良好的应用与推广价值。