手势识别机器人

陆一娇 廖倩倩 李成良 王靖贺 刘翼溥

摘要：随着智能移动设备和可穿戴设备的发展，自然的、符合人类习惯的人机交互方式逐渐成为人们研究的热点。手势、体态、人脸姿态这些最为直观、方便的人体动作，自然就成为人机交互研究的难点和重要方向。基于以上背景，我们将以履带式抓取机器人为实验平台，通过智能手套对手势进行识别，进而完成对移动机器人的运动状态的控制。致力于设计和开发适当的控制算法，实现对机器人多方面的操控。使用者可以通过智能手套控制机器人在多种环境下进行抓取操作，既操作方便，还能保护用户自身安全。

关键词：抓取机器人;控制算法;手势识别

1.引言

目前，手势识别在手语、智能监控、机器人控制、虚拟现实等领域发挥着重要作用。随着计算机视觉的发展和人机交互的需要，手势识别的研究得到了巨大的发展。我国手势识别下游应用市场也逐渐成熟。现在，大多数消费类应用程序都在尝试增加这种识别功能，可以带来很多好处。它在许多应用中发挥了良好的作用。多年来，人机交互一直以键盘和鼠标为中心。然而，随着科学技术的进步，特别是传感器技术和芯片制造技术的进步，中国正在不断研究新的人机交互体验。手势识别是一种新型的人机交互方式。它使用人类的姿勢和动作来表达用户的重要性，这对于残疾人来说非常重要。不同的手势可以命令机器人执行不同的指令。

2.主要内容

本文是使用智能手套通过弯曲度传感器感知人的手部动作，然后通过蓝牙模块对机器车发出不同的工作指令;机器车以STM32单片机为主控，使用直流电机和履带驱动，搭载伺服电机驱动的机械手臂，在接收到智能手套发来的控制信号后可以进行移动和抓取操作。

2.1履带式智能抓取机器人

（1）机器人主控

我们选择STM32作为主控，STM32单片机是一种集成度高的单片机，具有高性能、实时功能、低功耗、低电压运行等特点。同时，它还保留了高集成度和轻开发的特点，这将为未来的集成开发提供舒适性和便利性。

（2）机器人姿态检测模块

我们利用陀螺仪MPU6050来实时感知机器人的姿态，MPU6050为全球首例整合性6轴运动处理组件，我们可以利用它感知机器人行走方向，以及获知机器人在平路行驶还是坡路行驶，从而可以使机器人适应室内的不同地形。

（3）障碍感知

超声波模块HC-SR04可以通过发送和接收超声波，利用时间差和声音传播速度，计算出模块到前方障碍物的距离。我们利用它检测室内不同的障碍，在遇到障碍物时，提前做出避障。

（4）多舵机控制

舵机是机器人转向的中心机构。它具的体型小、力矩大、稳定性高等特点，无论在硬件设计还是软件设计中，舵机都是机器人控制的重要组成部分。

（5）人体感应

我们采用HC-R501人体红外感应模块，HC-R501是基于红外线技术的自动控制模块，采用LH1788探头设计，灵敏度高，可靠性强。我们通过此传感器探测周围是否有人靠近，避免阻碍行人，方便用户使用。

（6）机械手臂

机械手臂是机器人技术领域中应用最广泛的自动化机械设备。它可以在工业生产、医疗、军事、制造业和空间的研究等领域看到。它们都有一个共同的特点，即它们可以接受指令并精确定位三维空间中的一个点进行操作。

2.2智能感知手套

（1）手势姿态识别模块

RFP系列薄膜弯曲传感器基本功能是可以对物体弯曲度进行测试，它可用于各种应用环境和各种场景：传感器具有抗干扰性。当感应弯曲发生变化时，传感器的电阻也会发生变化：弯曲越大，电阻越大。其原理简单易用。它可以直接捕获弯曲度传感器的电阻值，或通过采集模块将其转换为标准信号电压数据。

通常，传感器可以直接检测电阻，并根据电阻值计算出相应的弯曲范围。因此，只能使用一个欧姆表。在实际的测试过程中，直接使用电阻检测设备不适合集成，因此在很多情况下通常使用电压采集卡，即将电阻信号转换为电压信号记录，并根据测试电压值计算出相应的弯曲度。下图计算公式：

（2）手势识别算法

①基于模板匹配

直接匹配法：利用输入手势与训练好的标准模板的相似度。

优点：通俗易懂，可以方便后期添加和改进。

动态时间规整（Dynamic Time Warping，DTW）：把输入手势时间轴非线性地映射到模板事件轴，再进行模板匹配。

②基于概率统计

隐性马尔科夫模型（Hiden Markov Model，HMM）模型：训练时每一种手势对应一个HMM model，识别时取概率最大的一个HMM即可。

优点：比较适合时间序列模型，比较容易对手势库进行添加和修改。

③基于数据分类

神经网络（Nerual Network，NN）模型：基于某种学习准则循环进行学习，使得下次犯错误的概率最低。

优点：容错能力强，抗干扰能力强，比较适合学习算法。

（3）蓝牙控制模块

蓝牙技术实际上是一种无线短程技术。蓝牙技术可以有效简化移动设备之间的通信。它负责将从串行接口接收到的数据转换成蓝牙协议，并发送到另一个蓝牙设备，将从另一个蓝牙设备接收到的蓝牙数据转换成串行端口数据并发送到该设备。其次，根据传输特性选择不同功能的蓝牙模块。如果用于数据传输，可以选择点对点透明传输模块，和点对多点模，还可以根据包装形式进行选择。蓝牙模块有三种类型：直插型、表贴型和串行端口适配器。直插型适合前期焊接和小批量生产。该模块有两种安装模式：内置和外部。此外，还有一个外部串行端口蓝牙适配器。如果用户不喜欢在设备中内置蓝牙，他们可以将适配器直接插入设备的串行接口，并在开机时使用。

3.结果

通过制作，该系统一切正常运行，可以通过智能手套的控制实现小车的前进、后退、加速、减速，蓝牙连接等操作。该系统具有可靠、方便、低成本等特性。具有一定的使用功能。其应用范围广泛，具有一定的现实意义，可以帮助行动不便的老年人进行抓取操作。

参考文献：

[1]梅武松，李忠新.基于手形和姿态的军用动态手势识别方法研究[J].兵器装备工程学报，2021，42（05）：208-214.

[2]苗凯，曲海洲，徐何江.基于人工智能的无穿戴人体姿态识别技术研究[J].信息化建设，2020（09）：60-64.

[3]王敏旭. 实时目标的位置姿态识别以及运动跟踪的研究和应用[D].电子科技大学，2020.DOI：10.27005/d.cnki.gdzku.2020.004348.

[4]宋一凡，张鹏，刘立波.基于视觉手势识别的人机交互系统[J].计算机科学，2019，46（S2）：570-574.

作者简介：

陆一娇（2000-），女，满族，辽宁锦州人，西北民族大学本科在读，物联网工程方向。

基金项目：

西北民族大学国家级大学生创新创业训练计划资助项目 （202110742027）。