基于机器视觉的树枝识别机械臂设计

钟全辉，蒋丰庚，张以全，王泽南

（1.国网浙江省电力有限公司嘉兴供电公司，浙江嘉兴 314000；2.国网浙江省电力有限公司双创中心，浙江杭州 310000）

随着社会生产的不断发展，现代电力用户对供电的质量要求越来越高，一旦电能质量不合乎要求或突然停电，将会给生产和生活带来难以预估的损失。电力线路作为电力系统的重要组成部分之一，其能否安全运行，直接决定了供电质量。保持树线的安全距离是做好电力线路防护的重要手段之一，在传统的树枝修剪人工作业过程中，存在着作业危险、工作效率低、修剪机器笨重等诸多痛点，需耗费不少人力，增加了施工成本。而将机器视觉与机械臂相结合，应用于工业施工现场，可替代施工人员的部分体力劳动。

上海海洋大学高远将深度学习应用于剪枝无人机实现了对冗余树枝的进一步提取。在图像识别领域，2022年西安石油大学的钱茹雪提出了迁移预训练与ResNet34网络模型结合的方法，不仅能大幅缩短模型训练的周期，并且能降低训练的损失率，从而提高测试准确率。近年来有学者采用D-H 参数法建立机械臂的参数化模型，综合采用多种插值方法，实现机械臂在工作空间中的轨迹规划，并根据实际工作环境确定了最适合的轨迹规划方法。明鑫等针对机器人抓取策略的准确性，提出了一种强化学习策略，根据机械臂末端与目标区域中心位置的距离，定义分层奖励函数，计算每个动作的奖励，实现抓取的目标动作。

为降低施工人员的安全风险，提高剪枝自动化水平，文章设计了树枝抓取机械臂。通过机器视觉的方式识别待修剪树枝，通过坐标转换确定其空间位置，经过剪枝机器人在电缆上的移动和机械臂的配合，实现待修剪树枝的抓取固定。

1 视觉设计方法

视觉部分采用的是YOLOv5 目标检测算法，通过实地拍摄的一组树枝图片作为训练集训练权重，获得了较高的检测精度。

1.1 骨干网络

1.1.1 Focus结构

Focus 结构中较关键的是切片操作。YOLOv5s 布署了32个卷积核在Focus 结构中。

1.1.2 CSP结构

YOLOv5s 网络在设计中采用了CSPNet 的设计思路，以有效降低目标检测的计算量。CSPNet 的基本思路为：①将上一层的输出特征连接并输出到下一层；②结合梯度信息来提升网络的学习能力。设计中的融合优先和融合最后策略可以在减少计算量的同时，以微小的准确度下降（0.1%）为代价。总之，CSPNet通过拆分为两部分进行卷积与特征融合，能在一定程度上降低计算量，但对准确率的提升能力有限。

1.2 特征融合

YOLOv5 的Neck 主要采用了FPN+PAN 结 构。FPN 自上而下地融合深层和浅层来构建特征金字塔。

1.3 网络输出端

1.3.1 BoundingBox损失函数

文中的 Bounding box 损失函数为CIoU Loss。该函数需考虑的因素有：长宽比、中心点距离、重叠面积。针对目前目标损失函数，使目标框与预测框的归一化距离能够最小化是最重要的，而当预测框被目标框所包围，预测框与目标框的中心点距离相同，但预测框长宽比会有所不同，因此，使用CIOU_Loss 为损失函数，其表达式为：

式中，Distance_2为目标框中心点与预测框中心点的欧式距离，B为两者的并集，Distance_C为对角线距离，A为两者的交集，如图1所示。

图1 DIOU_Loss参数说明

1.3.2 NMS非极大值抑制

在目标检测工作的后期环节，要筛选产生的众多目标框，一般要通过NMS 操作保留这些边界框中最好的一个。其功能如图2、图3所示。

图3 经NMS处理后得出最佳预测框

2 对树枝坐标的跟踪实现

为获取树枝在世界坐标系上的坐标，需其在像素坐标系上的坐标及相机内参。相机内参已用张正友标定法获得，而像素坐标系上的坐标由相机获得。因此仅需通过服务通信方式将像素坐标系坐标发送到主程序对应的包内，然后通过矩阵运算计算出世界坐标系坐标即可。实际的机械臂跟踪效果如图4所示。

图4 机械臂跟踪识别到的树枝

由图4可见，机械臂基本上能够准确跟踪现实世界中待修剪的树枝。

3 结果与分析

通过对散落的树枝进行识别，测试文章所设计的机械臂的运动能力、识别能力和目标抓取能力，如图5所示。

4 结束语

文章设计了一种基于图像识别和机械臂抓取的树枝清理机器人。其采用蓝牙遥控四轮车作为移动平台，利用YOLOv5算法识别车途径树枝位置，通过坐标变换控制机械臂抓取目标树枝。该设备可搭载在剪枝机器人上，起到固定树枝方便切割的作用，能够较大地帮助清理电缆周围的树枝并提高工作效率，具有一定的可靠性。