基于LZG-Net的机械手触觉识别和分类

摘要：准确识别物体类别和触觉信号对于机械手实现软抓取控制至关重要。为此，提出了一种用于嵌入式设备的轻量级金字塔神经网络（LZG-Net）模型，用于处理机械手抓取物体时的振动信号。LZG-Net模型以Ghost 模块为基础，采取卷积核逐层递减的卷积策略。针对注意力机制SE模块在一些嵌入式设备上无法部署的问题进行改进，并通过知识蒸馏、算子优化和量化操作提高模型在嵌入式系统上的准确率。最后，搭建了嵌入式触觉识别系统，将LZG-Net模型部署至其中，对4种不同特征的物体进行触觉识别。实验结果表明：该模型能够对物体类别及抓取状态进行准确分类，分类正确率达90.94%，其分类性能优于现有的经典轻量级神经网络。

关键词：嵌入式系统；轻量级模型；机器人抓取；金字塔架构

中图分类号：TP241.3文献标志码：A深度学习在机械手触觉抓取识别和分类方面显示出巨大的潜力。其中，视觉-触觉融合传感器［1-2］是多模态信息融合的代表，集成了压力和温度传感模块的多感官触觉手套［3］，以及基于光纤的触觉传感器［4］，为机械手触觉感知的研究做出了重大贡献。但从多个传感器采集数据进行多模态信息融合需要更高的数据同步性，并且存在互斥或不平衡融合等问题，这增加了数据处理和系统组成的复杂性。在触觉数据处理中，文献［5］使用主成分分析（PCA）来降低可变对象触觉序列的原始数据集的维数，随后使用k最近邻（KNN）和支持向量机（SVM）算法进行在线训练和测试，最终在线识别准确率为90%。QIAN等［6］提出了梯度自适应采样（GAS）策略和多时间尺度三维卷积神经网络（MTS-3DCNNs）模型提取关键信息，其具有较好的泛化能力，但是在线识别准确率仅为88.81%。BEDNAREK等［7］开展了基于卷积神经网络（CNN）和具有注意力机制的长短期记忆（AM-LSTM）网络的纹理分类研究，分类准确率为97.96%。XU等［8］开发了一种基于AM-LSTM方法的触觉识别模型，发现夹持器的闭合速度会影响触觉模型的识别准确率，但最高准确率仅为86.71%。上述研究侧重于在线理论分析。现有文献中缺乏关于资源受限嵌入式设备的触觉信号处理和模型分类的研究。

针对这些问题，本文基于刚性夹持器的机械手结构，设计了一种适用于嵌入式设备的一维轻量级金字塔神经网络（LZG-Net），在自行建立的触觉数据集上达到 99.12% 的识别准确率。经过优化后，该模型可以在低成本嵌入式系统上实现触觉振动信号端到端的实时分类，平均准确率为90.94%，分类性能优异，实现了高精度和低成本的识别。

1机械手触觉识别算法

1.1模型架构

卷积神经网络中的局部感受野思想可以有效地整合信道和空间信息，在解码一维数据方面具有优异的性能［9-10］。由于机器人物体操作的预抓取信息是密集且固定的峰值信号，网络采用了金字塔结构的卷积策略。基于此，本文提出了一种基于一维Ghost模块的轻量级LZG-Net卷积神经网络（图1），并集成了改进后SE模块的GE模块（图2）。为了检验金字塔CNN模型的有效性，确定网络的最佳深度和宽度，基于LeNet、ResNet和GhostNet设计了18种不同的模型结构，其中一半为金字塔结构，并进行对比实验。结果表明，与传统模型相比，基于GhostNet的金字塔结构卷积神经网络（64-32-16）性能良好，需要的参数更少，泛化性更好。

随着网络的深入，来自较高层的微观结构被较低层转化为更少和更具判别力的特征。第一层选择最大数量的64个卷积核，而随后的卷积层减少50%以保持金字塔结构。第一个卷积层的输入是归一化的RAW加速数据片段。基本卷积块由1×1的卷积层、1个ReLU激活层、1个Dropout层和1个Average Pooling层组成。对数据进行归一化后，使用Adam作为优化器，输出为对应不同类别触觉状态的9×conv层。随后，连接全局平均池化层和全连接层，前者减少参数数量以防止过拟合问题，后者提取判别信息。

1.2融合ESE模块的GE模块

SE模块可以提高CNN的动态通道特征重新校准能力，以获得更好的触觉特征，但存在算子不支持或推理失败等问题。一些含SE模块的网络在某些嵌入式设备上无法部署，为此提出了一种适用于嵌入式设备的ESE（Embedded-Squeeze-and-Excitation）模块来解决这个问题。SE模块中原来的全连接层被替换为卷积核大小为1的Con1D层。输入为F∈RW×H×C，W和H表示特征映射的宽度和高度，C表示通道号。压缩过程是在全局平均池化后输出向量1×1×C，激励操作由1×1卷积层、ReLU层和 Sigmoid激活层组成，压缩比r=16。激活公式如下：

1.3模型优化与量化策略

1.3.1知识蒸馏

为了提高模型在资源受限设备上的准确性，采用知识蒸馏使模型更加轻量化，增加可部署性。通过小模型模仿大模型的行为，知识蒸馏使得小模型能够学习到大模型的知识，并且在某些任务上表现得更好。交叉熵通常用于评估预测输出与实际标签之间的差异，并用作学生模型的训练信号。学生网络的交叉熵计算如下：

1.3.2算子优化量化

2触觉识别系统与数据集构建

2.1触觉识别系统

触觉识别系统由带刚性夹持器的机械手、压电陶瓷A、振动传感器B、控制器STM32H750和电源模块组成，如图3所示。传感系统安装在其中一个机械手的抓取面上。图3还展示了对采集的加速度垂直方向的扫频信号图，以及抓取状态的划分。C为物体；f是摩擦力，F1是物体所受压力，F2是手爪受到的压力，F3是摩擦力的反作用力。压电陶瓷模块的激励信号选择为F0sin（wt），频率为3 000 Hz。压电陶瓷具有逆压电效应，可以驱动机械手进行有规律地机械振动。在抓取过程开始时，机械手在电机作用下匀速收缩。当机械手与物体接触并碰撞时，振动传感器检测到物体运动变化产生的水平力F2和垂直力F3，收集信号并传输到控制系统进行分析和处理。总体方案设计如图4所示。

2.2数据集构建

通过大量的数据分析，抓取过程大致可分为3个状态：未接触、预抓取、稳定抓取，分别对应图3中的Ι、П、Ш。实验选取了4个具有不同特征的物体来建立数据集：鸡蛋（坚硬但易碎）、空铝罐（刚性但易变形）、小番茄（柔软但易压碎）和薄圆形金属片（坚硬而锋利，容易损坏机械手和传感器）。机械手未接触物体时，机械手指的振动由其自身的结构和压电陶瓷模块所施加的激励信号决定。在没有抓取任何物体前，振动传感器采集到的信号具有相同特征，因此将未接触状态作为一类数据。当机械手指接触物体后，此时机械手指的振动模态会发生变化，除自身结构和激励信号外，还取决于所夹持的物体材质以及与所夹持物体间是否有滑动摩擦。据此，将夹持上述4个物体的预抓取（手指与物体间存在滑动）和稳定抓取（机械手指与物体间不存在滑动且无损抓取）时的振动信号分为 8类不同的数据。本文数据集共包含9类数据，如表1所示。表1中：“物体-2”代表物体的预抓取状态；“物体-3”代表物体的稳定抓取状态；x1， x2， x3，…， x9分别对应9类数据。每类包含200组数据，每组数据维度为4 000×2，即每组包含8 000个振动加速度数据点。

3.1最佳模型配置实验

在确定卷积递减核数（64-32-16）后，开展实验——确定各层升降维通道个数以及是否选用GE模块，对比选择出最佳结构。网络结构见表2，对应网络的性能参数结果见表3。实验中，在较多通道数的Block1使用GE模块后会造成模型大小普遍大于1 MiB，使得推理时间大大增加且部署过程相对困难，因此统一选择不在通道数最多的Block1使用GE模块。表2中，“128G-32G”表示通道数为128的Ghost模块与通道数为32的Ghost模块相连接，其余模块同理。由表3结果可知，Model_D模型在准确率和损失值上具有最好的表现，选择其作为最终的LZG-Net模型。表3中F指每秒运行浮点运算的最大次数

3.2对比优化实验

实验环境为TensorFlow2.10框架，WIN10系统、GTX 1660 SUPER显卡，迭代130轮，按照7∶3的比例划分训练集和验证集。评价参考分类准确性、模型大小、验证集损失率等指标进行。将LZG-Net与6个模型进行性能对比，输入均为原始加速度信号，实验结果见表4。结果表明：与其他模型相比，LZG-Net在验证集上表现出最佳的准确性和最低的损失；ResNet 引入残差结构提高了模型性能，但导致了更大的模型参数；MobileNetV1 使用深度可以分离卷积减少参数量，但导致模型表达能力下降，不适合部署在嵌入式设备上。

利用混淆矩阵实验评估LZG-Net对物体的类别和抓取状态的分类能力，结果如图5所示。在随机抽取的455个样本中，模型仅有4个误判，显示模型对不同物体和抓取阶段的高分辨能力。

为了提高嵌入式平台上的模型准确性，采用知识蒸馏。表4 中准确率最高的3个模型LZG-Net、GhostNet 和 MobileNetV2具有优异的性能，选为学生模型，蒸馏温度T设为4。被蒸馏的3个学生模型都带有残差结构，使用同样带有残差结构的ResNet网络作为教师模型进行“知识”的传递。学生网络使用教师网络培训的软标签进行130 轮知识蒸馏。蒸馏模型评价指标为蓝色曲线，原生模型评价指标为橙色曲线。蒸馏前后准确率对比如图6所示。由图6可以看出：蒸馏模型的前30轮波动较大，但在30～80轮表现得更好且相较于原生模型收敛更快，验证集准确率也更高。

进行抓取实验前，使用 TensorFlow Lite对模型进行优化，生成的模型仅为原始模型尺寸的 15%～21%，之后利用X-CUBE-AI工具把模型部署到STM32H750平台。模型参数量的对比如表5所示。由表5可见，LZG-Net的模型参数从469 KiB减少到35 KiB，模型压缩率为92.53%。

3.3嵌入式平台抓取实验

在进行抓取实验时，首先需要将模型部署到STM32H750 嵌入式平台。然而，集成SE 模块的 MobileNetV3 和 MnasNet 都遇到了算子不支持或推理失败的问题。对此，本文提出了ESE模块，其可以成功应用在LZG-Net模型中，使得模型能够部署在STM32H750 平台上，并通过对4种物体进行了320次抓取实验，验证了模型的有效性和实用性，结果见表6。

由表6可知：3个模型都能准确辨识不同种类物体的未接触状态和稳定抓取状态；在预抓取状态，LZG-Net表现出最高的识别率，平均值达到90.94%。本文设计的模型在区分具有不同属性的物体，并准确划分其抓取阶段方面表现出较好的性能；但和在线实验相比（表4），识别准确率大概有8个百分点的下降。准确率降低可能归因于3个主要因素：优化过程中的信息丢失、量化误差的积累以及嵌入式平台的计算能力不足。

4结论

在资源有限的嵌入式设备上实现对抓取对象的触觉实时识别和分类是一项有挑战性的工作。本文提出了一种轻量级金字塔网络（LZG-Net）模型。该模型基于Ghost模块，采用卷积核逐层递减的策略，结合改进的注意力机制模块，在搭建的触觉识别系统上对不同类别的物体及其抓取状态划分的平均识别准确率为90.94%，识别率、模型参数量以及在嵌入式端的模型压缩比都优于GhostNet和MobileNet系列的经典轻量级神经网络，是一种高效且低成本的机械手触觉识别方法。未来的研究可以考虑添加更多不同种类和状态的对象，并利用带有神经网络处理器（neural network processing unit，NPU）的开发板来加速神经网络推理。参考文献：

[1]PANG C， WANG Q， MAK K， et al. Viko 2.0： a hierarchical gecko-inspired adhesive gripper with visuotactile sensor［J］. IEEE Robotics and Automation Letters， 2022， 7（3）： 7842-7849.

［2］ SHAH U H， MUTHUSAMY R， GAN D， et al. On the design and development of vision-based tactile sensors［J］. Journal of Intelligent amp; Robotic Systems， 2021， 102（82）： 1-27.

［3］ QIU Y， WANG Z Q， ZHU P C， et al. A multisensory-feedback tactile glove with dense coverage of sensing arrays for object recognition［J］. Chemical Engineering Journal， 2023， 455： 140890.1-140890.11.

［4］ LU Z Y， YANG T Y， CAO Z S， et al. Optical soft tactile sensor algorithm based on multiscale ResNet［J］. IEEE Sensors Journal， 2023， 23（10）： 10731-10738.

［5］ ZHANG Z， ZHOU J， YAN Z H， et al. Hardness recognition of fruits and vegetables based on tactile array information of manipulator［J］. Computers and Electronics in Agriculture， 2021， 181： 105959.1-105959.10.

［6］ QIAN X L， MENG J， WANG W， et al. Gradient adaptive sampling and multiple temporal scale 3D CNNs for tactile object recognition［J］. Frontiers in Neurorobotics， 2023（17）： 1159168.1-1159168.11.

［7］ BEDNAREK J， BEDNAREK M， KICKI P， et al. Robotic touch： classification of materials for manipulation and walking［C］// 2019 2nd IEEE International Conference on Soft Robotics （RoboSoft）. Seoul： IEEE， 2019： 527-533.

［8］ XU Z， YI W， CHEN M， et al. Robotic tactile recognition system based on AM-LSTM model［C］// 2021 IEEE International Conference on Robotics and Biomimetics （ROBIO）. Sanya： IEEE， 2021： 1570-1575.

［9］ JI M， FANG H， ZHENG H， et al. Preprocessing-free surface material classification using convolutional neural networks pretrained by sparse Autoencoder［C］// 2015 IEEE 25th International Workshop on Machine Learning for Signal Processing （MLSP）. Boston： IEEE， 2015： 1-6.

［10］UIIAH I， HUSSAIN M， ABOALSAMH H， et al. An automated system for epilepsy detection using EEG brain signals based on deep learning approach［J］. Expert Systems with Applications， 2018， 107： 61-71.

（责任编辑：周晓南）

Manipulator Tactile Recognition and Classification Based on LZG-Net

YANG Lan1， LIU-NIE Tianhe2， WANG Minhui*1

（1.Department of College of Electrical Engineering， Guizhou University， Guiyang 550025， China;

2.Department of Guizhou Power Grid Co.， Ltd.， Guiyang 550025， China）Abstract： Accurate recognition of object categories and tactile signals is crucial for robotic hands to achieve soft grasp control. This paper proposes a lightweight pyramid neural network （LZG-Net） model for embedded devices， designed to process vibration signals during robotic hand grasping. The LZG-Net model is based on the Ghost module and adopts a convolutional strategy with progressively decreasing convolutional kernels. It addresses the issue of the attention mechanism SE module being unable to deploy on some embedded devices and improves the model’s accuracy on embedded systems through knowledge distillation， operator optimization， and quantization operations. Finally， an embedded tactile recognition system is built， and the LZG-Net model is deployed within it for tactile recognition of four objects with different characteristics. Experimental results show that the model can accurately classify object categories and grasping states， achieving a classification accuracy of 90.94%. Its classification performance is superior to existing classic lightweight neural networks.

Key words： embedded system; lightweight model; robotic grasping; pyramid architecture

（上接第51页）

Damage Characterization of Marble Under Cyclic Impact Loading

YU Guoqiang HOU Kepeng SUN Huafen ZHU Zhigang

（1.School of Land and Resources Engineering， Kunming University of Science and Technology， Kunming 650093， China;

2.Yunnan Key Laboratory of Sino-German Blue Mining and Utilization of Special Underground Space， Kunming 650093， China）Abstract： In order to study the damage change characteristics of marble under local cyclic impact， the paper uses the damage factor to define the damage degree of the rock. Then with the help of the pendulum impact testing machine on the marble specimen with different impact energy under the contact area ratio of 1/18S cyclic impact test， the study analyzes the impact damage to the marble specimen with different impact energy and the number of impacts， and the change characteristics of the damage factor caused by different impact energy and the number of impacts. The results shows： when the pendulum lifting angle is 10°， the specimen does not have obvious damage; with the increase of the number of cyclic impact， the damage factor increases; when the cyclic impact increases to a certain number of times， the specimen is macroscopically damaged， and the damage factor changes significantly; with the increase of the pendulum lifting angle， the wave speed begins to decrease significantly， the impact absorbed energy and the number of impacts required during the specimen fracture damage also decreases，and the growth rate of damage factor reaches 75%. Considering that the impact mode of the rock on the shaft walls is localized impact with different contact areas， these results can provide a new idea for the study of the impact damage of rock to the shaft walls in mines.

Key words： marble; localized cyclic shock; pendulum test; damage factor; absorbed energy