基于人体手臂同步远控的智能机械车研究

谢银波，魏天奇，田 元，严志聪，陈世增

基于人体手臂同步远控的智能机械车研究

谢银波，魏天奇，田 元，严志聪，陈世增

（武汉大学 电子信息学院，湖北 武汉 430072）

设计了一种基于人体手臂同步控制的智能机械车系统。该系统采用低功耗异构多处理器、多核机电系统，通过优化的游戏引擎人机交互图形控制界面，辅以可穿戴式肌电信号和手臂姿态传感器，以手势及手臂姿态无线远程控制智能车的行进、机械臂的同步伸展和机械手的抓取等动作，车载高速激光雷达系统和摄像头系统实现，在复杂未知环境下，远控机车的定位、二维和三维场景快速重构、无缝切换显示，实验结果标明，系统鲁棒性好、实时性能满足应用要求，具有较好的应用价值前景。

智能机械车；肌电信号；体感控制；实时地图；机器学习

通过在人的肢体上穿戴传感和智能设备，利用人体的生物机能反应和肢体动作，可以更直观、灵活地进行信号感知和实施控制过程。国内外的研究者，针对利用穿戴式装置的控制方法及应用，特别是以肌电信号（electro myo gram，EMG）和惯性测量单元（inertial measurement unit，IMU）为基础，展开了广泛的研究[1-3]，但鲜见有将EMG与IMU相结合进行相互约束以达到最优解的讨论。

为了解决上述问题，本文提出并实现了一种通过人体手臂对智能车及车载机械臂进行实时控制的系统。针对车体及机械臂设计与控制在很多文献[4-5]中有讨论，本文主要从穿戴式人机交互实时控制与基于激光雷达的场景探测进行设计与分析。

1 系统结构与功能

通过自定义手势和穿戴EMG传感器的手臂可无线远程控制智能车的行进状态。使用穿戴有姿态传感器组的手臂[6-7]，直接操控基于Unity3D实现的友好人机图形控制界面[8]，以及在车辆控制界面下控制车载机械臂的同步伸展和机械手的抓取等动作。同时，依靠车载高速激光雷达系统和摄像头，可获得复杂未知环境下，实时场景原始数据，并将数据上传至上位控制系统，上位控制系统对回传数据进行处理，完成实时机车定位和远程三维场景快速重构和显示，二三维图像可进行无缝切换，协助人对车的操控过程和机械臂的抓取。智能机械车实物及系统操控主界面见图1。

图2为系统工作原理图。系统由上位控制系统和智能机械车2大部分组成，考虑到智能车需由电池供电，有低功耗及控制内容、种类复杂等特点，系统采用异构多处理器、多核心架构。智能机械车以Intel MinnowBoard嵌入式系统I为车载主控核心，对来自激光雷达、摄像头等较大数据任务进行处理，并将处理后数据通过Wi-Fi信道及时传输到上位控制系统，辅以Intel Genuino 101和ST STM32低功耗控制板，实现对机械臂、车底盘运动等实时性要求较高的控制。上位控制系统由同样架构的嵌入式系统II组成，其对从智能机械车传来的拟合地图数据、机器人位置信息及视频图像信息等进行融合、重建和生成界面，同时对手臂姿态传感器和肌电传感器信号进行采样和处理，并通过Wi-Fi信道TCP链路将控制指令实时发送到智能机械车。

图1 智能机械车实物及系统操控主界面

图2 系统工作原理图

2 穿戴式人机交互实时控制设计

2.1 基于EMG信号的手势识别

手势识别组件中包含一个加拿大Thalmic Labs的MYO EMG采集臂环，佩戴在胳膊的肘关节上方，通过低功率的蓝牙接口与上位控制系统进行通信连接。当带动肌肉运动的手做出：手指张开A、紧握拳B、手左弯折C、手右弯折D、手松弛E 5种动作时，可远程控制智能车分别完成前进、后退、左转、右转、停止5种运动。

MinnowBoard嵌入式系统II接收到EMG信号后，进行预分类和细分类的手势识别过程，流程如图3所示。

首先从所有手势中区分出放松手势，根据人体手势动作时前臂不同肌肉的差异化用力，利用积分肌电值（IEMG）作为首次分类的特征向量，对表面肌电信号进行预分类。

图3 手势识别流程图

预分类算法如下：根据EMG信号通道数=8，则EMG信号绝对值幅度平均值为

积分肌电值定义式：

式中为总样本数。

根据不同手势肌电积分值()的分布情况，选择线性判别函数：

()将手部动作分为两大类：（放松）与（紧张），对于有权矢量，运用感知器算法。校正规则如下式：

线性判别函数确定后，将测试集特征向量代入()中，可通过公式（5）判别规则进行紧张与放松状态的分类识别。

经过预分类后，再对4个紧张手势采用一对多支持向量机（support vector machine，SVM）分类器进行细分类，分别对应智能车移动的4个自由度，最终判定出可区别的手势。

2.2 基于手臂姿态控制的人机交互控制

手臂姿态获取由2组MPU-6050与2组CC2540 BLE模块为核心的电路构成。MPU-6050内部集成了3轴陀螺仪[9]和3轴MEMS加速度计。由于姿态传感器组对环境温湿度变化和周围电磁波干扰极为敏感，故需要对原始数据进行滤波。

通过对于2路陀螺仪数据获取向量，经中值滤波等处理，映射为手臂肘部的关节夹角，从而形成手臂控制的运动姿态。获取的加速度值再通过中值滤波和卡尔曼滤波，获得控制人机交互图控界面中上移动激活、下移动激活及旋转手臂确认的3个主要UI控制指令，结合EMG手势识别旋转手臂动作，实现“确认”的交互操作。

此外，根据采集到的手势和手臂姿态信息，可对智能车进行多自由度控制。通过8路PWM波实现智能车底座的万向运动，通过6路PWM波实现机械臂的6自由度控制，而且6个机械臂动力舵机、2个机械臂关节上的MPU6050加速度计及2个机械手爪上的压力传感器构成闭环负反馈系统。

3 基于激光雷达的场景探测

3.1 RPLIDAR激光雷达

激光雷达模块采用SLAMTEC公司的RPLIDAR A1，主要由测距子模块和机械运行子模块组成，以雷达身为中心对范围场景进行激光点云扫描，再通过串行接口将实时测距数据传输给智能机械车中的MinnowBoard嵌入式系统I中进行处理。

同时，利用车载机械臂夹手处的高清摄像头获取30FPS/1080P视频流，编码为H.264码流[10]，通过RTP协议实时传输至上位控制系统，最后与由激光雷达形成的场景图耦合的互为参照、可切换式视角界面。

3.2 场景探测算法

场景探测以激光雷达模块采集数据为基础，场景探测算法流程如图4所示。

图4 场景重构程序流程图

MinnowBoard嵌入式系统I软件系统搭载Ubuntu14和ROS Indigo[11]，辅助导航程序控制激光雷达获取点云数据，经过滤波和与现场环境的扫描匹配过程，结合图优化SLAM算法进行全局优化[12-13]，场景地图数据为´维矩阵（为场景地图宽，为高），通过Canny边缘提取[14]与Hough变换获取精准的场景边界[15]，反复匹配得到比较精确的重构结果。

4 关键性能测试与分析

针对系统的主要功能，对相关关键组件，包括手势识别、机械臂姿态控制、场景重构进行了性能测试与分析。

4.1 手势识别测试

4.1.1 实时性

定义手势数据库的总样本数为。通过更换不同的值，测试手势识别的时间。通过记录手势判断的时间来判断手势识别框架的实时性，实验结果见表1。

表1 手势识别实时性测试

从测试结果可以看出，当样本集数量控制在10 000时，手势识别都可以在30 ms左右完成，可以达到较好的实时性要求。

4.1.2 准确性

手势识别的准确性决定整个系统的稳定性。分别对5种手势识别20、40、100次，5种手势分别标记为A、B、C、D和E，识别结果见表2。

表2 手势识别准确性测试

从表2可以看出，代表控制智能车前后行进的手势A和B以及控制右转的手势D达到了99%以上的正确率，但是控制智能车左转的手势C却只有97%的识别率，这是因为左转手势较放松，有很小的概率被误判为无效手势，但由于手势控制信号的发送频率很高，无效手势产生概率较低，会在多次取值判断中被剔除，并不影响实时操作。

4.2 机械臂姿态控制测试

机械臂姿态由方向角、天顶角以及半径决定，而每个量都由穿戴式传感器组的各模块协同确定，要求很强的实时性和准确性。

4.2.1 机械臂实时性

机械臂方向角根据操作者手臂水平移动情况进行同步操作。手臂从–45°水平移动到45°的时间为(Human)，机械臂的对应移动时间为(Arm)，D为两者差值，结果见表3。

表3 机械臂方向角实时性测试 s

由实验结果可以看出，当人体手臂进行正常速度移动时，误差非常小，满足实时控制的要求；但非正常平缓移动时，时间差D甚至出现了负数，这是由于采用了卡尔曼滤波器的缘故，此外舵机作为机械臂的驱动体有可能提前到达预定角度。

4.2.2 机械臂移动准确性

让手臂分别移动9个角度，再分别测试机械臂方向角移动的对应角度，测试结果见表4。

从表4可以看出，误差具有随机性，这与每个人臂部平移习惯有关，同样的移动角度，每一段的移动加速度亦会有差别。

表4 机械臂方向角准确性测试 (°)

4.3 场景构建测试

对某室内规则区域进行扫描和场景重构，测量侧边6条较明显边界的长度，测试结果见表5。系统可以达到较好的场景重构效果。

表5 场景重构精度测试 m

5 结语

本文提出了一种将手势操作、体感操作、场景重建、实时定位、视频采集和3D体感交互操作界面相结合的智能机械车控制系统。实验结果表明，系统交互性强、手势及手臂控制实时性好、准确性高、场景构建及车定位精度高，可满足实验室环境下实时控制的需要，在野外探险与救援、智能农业、工业安全生产等领域有着广阔的应用前景。目前，该系统作为我校电子信息类嵌入式系统系列课程设计的综合实训平台之一应用于教学。

[1] DU L Z. Coupling analysis of ECG and EMG based on multiscale symbolic transfer entropy[C]//Research institute of management science and industrial engineering. Proceedings of 2017 2nd International Conference on Mechatronics and Information Technology(ICMIT 2017). 2017.

[2] 赵汗青，李海燕，王立新. 表面肌电信号采集综合实验项目设计[J]. 实验室研究与探索，2016, 35(6): 52–56.

[3] 晋晓飞，王浩，陈媛，等. 基于手臂表面肌电信号的智能小车控制系统[J]. 生物医学工程研究，2017, 36(4): 301–306, 317.

[4] 王明明，朱莹莹，张磊，等. 麦克纳姆轮驱动的移动机器人自适应滑模控制器设计[J]. 西北工业大学学报，2018, 36(4): 627–635.

[5] 邓晓燕，林灿光，施翔宇，等. 五自由度机械臂三维建模与仿真实验平台的构建[J]. 实验技术与管理，2018, 35(3): 118–122.

[6] 鲁立，刘颂. 非线性SVM融合LDA的sEMG手势识别应用分析[J]. 激光杂志，2014(8): 26–29.

[7] 丁其川，赵新刚，韩建达. 基于肌电信号. 容错分类的手部动作识别[J]. 机器人，2015, 37(1): 10–16.

[8] 王开宇，李安琪，马驰，等. 基于仿真技术的数字电路3D虚拟实验室的设计[J]. 实验技术与管理，2017, 34(2): 11–15.

[9] 董靖川，张朝，温洋，等. 基于STM32的低碳避障实验小车电控设计[J]. 实验技术与管理，2017, 34(12): 45–49.

[10] 张瑒，许林，孙广毅. 基于RGB-D摄像机与IMU数据融合的动作捕捉系统[J]. 系统仿真学报，2015, 27(10): 2582–2588.

[11] 胡春旭，熊枭，任慰，等. 基于嵌入式系统的室内移动机器人定位与导航[J]. 华中科技大学学报(自然科学版)，2013, 41(增刊1): 254–257, 266.

[12] 季秀才，郑志强，张辉. SLAM问题中机器人定位误差分析与控制[J]. 自动化学报，2008(3): 323–330.

[13] 赵建伟，张宏静，王洪燕，等. 应用激光雷达构建室内环境地图的研究[J]. 机械设计与制造，2017(5): 135–137.

[14] 王植，贺赛先. 一种基于Canny理论的自适应边缘检测方法[J]. 中国图象图形学报，2004(8): 65–70.

[15] 张佳，程宇龙. 基于随机Hough变换的圆形目标检测实验[J]. 实验室研究与探索，2014, 33(7): 130–133.

Research on intelligent mechanical vehicle based on synchronized remote control of human arm

XIE Yinbo, WEI Tianqi, TIAN Yuan, YAN Zhicong, CHEN Shizeng

(School of Electronic Information, Wuhan University, Wuhan 430072, China)

An intelligent mechanical vehicle system based on synchronous control of human arm is designed. This system uses a low-power heterogeneous multi-processor and multi-core electromechanical system. The system adopts low-power heterogeneous multi-processor and multi-core electromechanical system, and through optimized game engine human-computer interactive graphical control interface, supplemented by wearable EMG signal and arm attitude sensor, it can control the movement of intelligent vehicle, synchronous extension of the arm and grasping of the manipulator by gesture and arm attitude wireless remote control. As a result, the vehicle-borne high-speed lidar system and camera system are realized. In complex and unknown environment, the location of the remote control locomotive, fast reconstruction of two-dimensional and three-dimensional scene, seamless switching display are realized. The experimental results show that the system has good robustness and real-time performance, which meets the application requirements and has good application prospects.

intelligent mechanical vehicle; EMG signal; somatosensory control; real-time map building; machine learning

TP242

A

1002-4956(2019)12-0085-05

10.16791/j.cnki.sjg.2019.12.020

2019-04-04

教育部产学合作协同育人项目（201601005066，201701003050）；湖北省科技支柱项目（2017AAA027）

谢银波（1977—），男，湖北天门，博士，实验师，研究方向为嵌入式系统和无线传感器网络。E-mail: xyb@whu.edu.cn