基于YOLOv5模型识别的数字孪生机械臂

摘 要：为解决传统工厂机械臂工作室需要近距离人工看护、易造成安全事故等问题，采用基于YOLOv5机器视觉模型和Unity 3D平台的虚幻引擎搭建了一款可远距离人机交互、实时监测的机械臂。其中，视觉模块利用树莓派官方摄像头作为视觉传感器，使用树莓派处理YOLOv5的计算任务，经过长时间的数据采集将视频以每秒30帧的频率分割成静态图像，用于增强模型鲁棒性；孪生模块以Unity 3D组件搭建基本结构，通过手写脚本模拟现实机械臂的物理特性；利用MQTT通信协议使二者协同驱动。经验证，该机械臂性能稳定，能够较好地实现既定目标。

关键词：视觉识别；物联网；机械臂；数字孪生；MQTT；Unity 3D

中图分类号：TP241.2 文献标识码：A 文章编号：2095-1302（2025）04-0-03

0 引 言

随着国家的发展，对于高新技术和智能制造的需求日益增长。为满足提高生产效率、降低成本、保障安全和促进创新的需求，一项能够在高危、无尘的工作环境中进行高效、精准操作的技术有助于为国家制造业[1]、航空航天[2-3]、医疗[4]、

军事[5]等领域的发展提供重要支持。近年来，随着机器视觉和硬件技术的提升，许多应用型机械臂，如文献[6]研制的腹腔镜微创手术机器人，凭借其精巧的结构充分发挥了微创手术的优势，但其三维显示系统目前还无法将机器人在视觉图像上进行标定；文献[7]通过机器视觉设计了一套机场行李搬运系统，但受时间和结构等因素限制，目前仍然存在一些不足。本文设计的基于视觉识别与路径规划的数字孪生机械臂，为综合机械臂的研制提供了参考。

1 机械臂数字孪生

1.1 物理特性映射

所谓物理映射[8]就是将现实世界的客观影响因素通过虚拟引擎投射到虚拟场景中。其中包括机械结构的父子关系、机械臂的数学模型、驱动器代码等，使其运行逻辑等与现实世界中的实体机械臂参数一致。

如图1中的浅灰色部分所示，在设计关节部分时特意选用了机械式主动调平方式，以保证夹爪能够在升降过程中保持水平状态，从而确保其在抓取过程中的稳定性。所使用的42步进电机，通过官方文档查询相关数据后，以代码的形式在虚拟体中体现。机械臂的臂长、臂宽、齿轮齿数、分度圆等参数直接以模型的形式导入。

1.2 虚拟体搭建

目前市面上的主流引擎有Unreal、Unity、Source、CryEngine等，该项目基于Unity 3D平台搭建，其主要优点为Unity 3D社群活跃，除具有优秀的跨平台兼容性和相对容易的开发环境外，还拥有大量的第三方包，截至目前共有超过56 000个第三方包可以使用。

图2展示的是虚拟体搭建界面。其中，页面左边一栏是Unity 3D的主从关系表达树，通过查看其上下位置即可确定主从关系。中间为搭建的场景，Unity场景自带单个摄像头和单个光源，将三维模型（fbx格式）导入场景中，根据上节提到的物理特性使用虚拟引擎自带的组件进行约束。图2右边一栏为单个零件属性栏，在此选择零件的物理属性和连接类型。

图3为用户交互界面，包括（①）退出：退出程序；使用说明（②）：内置文字版使用说明；用户登录（③）：登录购买的云服务器ID；初始化（④）：初始化机械臂按钮；坐标输入（⑤）：指令输入入口；调整（⑥）：调整细微偏差；可视化（⑦）：可视化机械臂模型。

1.3 数据交互

该项目使用消息队列遥测传输协议（Message Queuing Telemetry Transport， MQTT）确保实体和孪生体之间的通信。MQTT是一种基于发布/订阅（Publish/Subscribe）模式的“轻量级”通信协议，该协议基于TCP/IP协议构建。MQTT最大的优点在于，仅需使用极少的代码和有限的带宽即可为连接远程设备提供实时可靠的消息服务。

通过图4所示的坐标输入窗口输入指定坐标，后台将坐标发送至租用的服务器，机械臂控制主板上的ESP8266辅板通过WiFi模块从指定服务器中抓取坐标信息，并发送给母板从而控制机械臂。图4为通信代码调用的库和第三方插件。

2 视觉识别系统

2.1 视觉硬件配置

本文采用了适用于树莓派的官方高清摄像头，以确保图像质量满足后续处理要求。该摄像头具备高分辨率捕捉能力，能够清晰记录机械臂操作环境中的细节。为处理YOLOv5模型[9]的计算任务，选用了树莓派4B作为计算平台，其具备4 GB RAM和1.5 GHz 的四核心CPU，可满足实时处理的基本需求。

2.2 数据采集与预处理

在实验室环境下，通过树莓派高清摄像头连续捕获了总计24 h的机械臂操作视频。随后，将视频以每秒30帧的频率分割成静态图像，共获得约2.6万张图像，如图5所示。采用图像增强技术，包括旋转、缩放和颜色调整等，提高模型训练的多样性和鲁棒性。

2.3 数据集制作与标注

利用LabelImg工具对采集的图像进行手动标注[10]，标注内容专注于要识别的物体，包括其类别和位置（使用边界框标注，如图6所示）。每张图像由两名研究人员独立标注，通过交叉验证方式解决标注差异问题，确保数据集的准确性和一致性。

2.4 YOLOv5模型训练与优化

在树莓派平台上部署YOLOv5模型前，首先在具备GPU加速功能的服务器上进行预训练，使用公开的COCO数据集初始化模型权重。随后，利用制作的定制数据集对模型进行微调，训练过程需使用交叉熵损失函数和Adam优化器，学习率设置为0.001，批量大小为32，共计迭代了5 000次。

为适应树莓派的计算能力，对YOLOv5模型进行轻量化处理，包括剪枝、量化和知识蒸馏等，以减少模型的参数量和计算复杂度。轻量化后的模型在树莓派上的推理时间从原始模型的2.5 s降低到0.8 s，准确率保持在93%以上，可满足实时处理的要求，达到图7所示的效果。

3 机械臂机构

3.1 机械臂设计

本文以开源的桌面机械臂为设计基础，利用三维产品建模软件完成了造型设计。为了制造所有主干结构件，采用了增材制造中的FDM 3D打印技术。在实体部件的重建过程中，根据数字孪生体的信息反馈进行了三次重建。该机械臂具有三个自由度：底座与机械臂间的转动自由度、机械臂大臂与底座间的转动自由度以及机械臂小臂与大臂间的转动自由度。大臂、小臂和底座的运动由三个步进电机通过齿轮连杆等结构实现传动控制。

实体部分由42步进电机驱动，各关节处配有轴承以确保活动自由度。各构件通过紧固件连接，驱动电机、限位开关和传感器通过数据线连接到控制主板。控制主板可以实现机械臂的全部控制功能，并能与电脑上的孪生体进行串口通信。通过与远程通信模块连接，控制主板还可以实现与孪生体的跨局域网信息通信。

关于机械限位开关的运用，本文将其用于机械臂断电启动时的复位和运动控制时的点位标定。此外，步进电机的控制引入了基于霍尔元件的磁感应控制模块，实现了闭环控制。该磁传感器可以实时获取步进电机的位置、矢量、速度和加速度等信息，使该模块能够独立工作，用于实现电机驱动和位置反馈。机械臂根据控制主板接收到的运动指令运动，并在收到信息索取指令时输出当前传感器采集的信息。

3.2 机械夹爪设计

由于三爪式舵机夹爪的综合表现和在机械臂上展现出的卓越的稳定性和功能性，已被应用在各类场景中。该机械夹爪凭借独特的优势，为机械臂提供了稳定可靠的夹持能力。

在需要高精度操作的场景中，三爪式的舵机夹爪展现出相较于两爪式或吸盘等夹持组件更加稳定的特性。由于其三个夹爪为联动式控制，可以精确地夹持各种形状和大小的物体，因此能够更好地确保操作的准确性和稳定性。在需要快速响应的场景中，三爪式舵机夹爪凭借其高性能舵机，实现了快速而准确的夹持和释放。通过精确控制舵机的转动，夹爪可以在短时间内完成张开和闭合的动作，提高了机械臂的工作效率。这使得它在需要快速更换或移动物料的场景中表现出色，大大提升了机械臂的工作性能。

此外，三爪式舵机夹爪还具备良好的适应性，能够应对各种形状和硬度的物体。通过调整夹爪的张合程度和夹持力度，可以实现对不同物料的稳定夹持，而不会对物料造成损伤。同时，由于结构的设计，它对于反复做夹持动作所造成的磨损相较于其他方式更小，夹爪更加坚固耐用，使得它更适合应用于连续的工作过程，从而减少了因夹爪抖动或滑移导致的误差。这使得它在夹抓各种不同物料时都能保持高效稳定的工作状态。三爪式夹爪机构如图8所示。

4 结 语

该项目通过Unity 3D平台搭建了数字孪生体并使用MQTT通信协议实现了与实体的同步通信；通过集成适用于树莓派的高清摄像头和基于树莓派搭载的YOLOv5模型，实现了对机械臂操作环境中目标物体的高效准确识别，创造了一种现实意义上的非接触式人机交互机械臂。同时，数字孪生和机器视觉技术的结合为非接触交互机械臂的应用提供了更大的优势。这类优势重点体现在可以对机械臂的运行状态进行实时监控和模拟，便于直观观测其夹爪状态，并预测其未来的性能和行为，从而更好地进行优化和控制。通过预测可能出现的故障，有助于延长机械臂的使用寿命，提高机器人的生产效率和产品质量，减少人为操作误差，为企业降低各类成本。

然而，本项目目前局限于硬件算力，对于模型的数据处理速度仍有待提高。未来将探索更高效的模型优化方法和硬件加速技术，以进一步提升系统的性能。

注：本文通讯作者为蒋维佳。

参考文献

[1]刘亦晴.工业机器人智能视觉引导技术发展及其运用[J].科技经济市场，2020（4）：3-5.

[2]张凯锋，周晖，温庆平，等.空间站机械臂研究[J].空间科学学报，2010，30（6）：612-619.

[3]高涵，张明路，张小俊，等.机械臂绝对定位精度标定关键技术综述[J].计算机应用研究，2017，34（9）：2570-2576.

[4]倪自强，王田苗，刘达.医疗机器人技术发展综述[J].机械工程学报，2015，51（13）：45-52.

[5]佚名.美巨型焊接机器人系统可助力军事应用[J].焊接技术，2017，46（1）：90.

[6]鞠浩. 腹腔镜微创外科手术机器人控制系统研究[D].天津：南开大学，2010.

[7]刘新. 基于机械臂的机场行李智能搬运系统研究[D].吉林：吉林大学，2022.

[8] BRATCHIKOV S， ABDULLIN A， DEMIDOVA G L， et al. Development of digital twin for robotic arm [C]// 2021 IEEE 19th International Power Electronics and Motion Control Conference （PEMC）. Gliwice， Poland： IEEE， 2021： 717-723.

[9]李宇翔，王帅，陈伟，等.基于Ghost模块的改进YOLOv5目标检测算法[J].现代电子技术，2023，46（3）：29-34.

[10]朱花，陈璐，阳明，等.基于YOLOv3的工件抓取机械臂研究[J].实验室研究与探索，2023，42（9）：132-138.