远程控制采摘机器人手势识别研究——基于势场蚁群算法

袁路路，张娓娓

(河南工业职业技术学院，河南 南阳 473000)



远程控制采摘机器人手势识别研究
——基于势场蚁群算法

袁路路，张娓娓

(河南工业职业技术学院，河南 南阳 473000)

采摘机器人在作业时遇到通过自主导航无法越过的障碍物时，或者在危险的地带无法进行人工采摘作业时，需要借助远程方式进行实时控制，使其成功越过障碍物，并在高危环境中有效地展开采摘作业。为了优化采摘机器人远程控制系统，提出了一种基于手势识别的远程控制方案，并引入了势场蚁群算法，提高了机器人的控制的准确性和高效性。在远程控制方案中，将基于视觉的手势识别与远程控制机械手相结合，通过深度相机采集手势图像并提取手势特征，转换为机械手舵机的控制命令，并通过无线网络发送至采摘机器人控制单元，实现视觉手势对机器人的远程控制。对采摘机器人进行了测试，通过测试发现：基于蚁群算法的手势识别系统可以有效地追踪得到不同的动态手势，且可以准确地识别手势所代表的意义，成功实现了机器人远程控制的手势识别。该方法不仅可以远程实现机器人避障功能，还可以将其应用在山谷、沼泽等危险地带进行采摘作业，实现其非凡的使用价值。

采摘机器人；人工势场；蚁群算法；手势识别；远程控制

0 引言

远程控制机械手臂可代替人工在极限环境下进行作业，对提高作业效率和保障人身安全均有重要的意义。传统的远程控制机器人需要利用布线的方式，实现其远程控制，由于采摘环境的限制，不允许大范围布线，使传统的远程控制在采摘机器人上的应用受到了限制。而基于视觉手势识别的机器人，采用计算机、摄像头和通信设备，便可以完成手势信号的采集、识别和机器人的路径跟踪任务，其成本低、系统简单、操作性较好。手势包含了丰富的信息，是一种非常直观的人机交互手段，利用相机和图像分析可以识别命令信息，还原操作意图，是完成人机交互的一种非常好的方法，对采摘机器人远程控制的设计具有重要的意义。

1 采摘机器人手势识别远程控制方案

1981年，美国航天飞机将一套加拿大斯巴宇航公司研制的六自由度机械臂系统送入空间站，宇航员可以通过远程控制实现机械手的抓取和搬运动作，成为机械手远程操作系统的典范；后来对其进行了改进，使其具有了15个自由度，是迄今为止最为复杂的太空机械手臂，可以完成各种复杂的操作，其结构如图1所示。

图1 加拿大第2臂远程控制机械手

为了保证采摘机器人远程控制系统的稳定运行，系统的设计需要满足以下几个要求：

1)算法的效率较高。利用相关算法对图像处理算法进行改进，从而缩短机器人识别系统对每一帧图像的处理时间，实现机器人远程操作、操控的实时性。

2)识别准确率高。采用相关算法提高机器人手势识别的准确率，如果识别准确率不达标，会造成机器人的错误操作，这就需要相关算法可在恶劣环境中正确识别有效手势。

3)通信稳定。稳定的通信环境可以保证数据的有效传输，使用最少的指令，完成控制命令。

基于以上设计要求，机器人的手势识别和远程控制流程设计如图3所示。

图2 采摘机器人远程控制总体设计方案

图3 机器人手势识别远程控制流程

首先，利用深度相机对手势图像进行实时采集，然后通过蚁群算法对路径进行规划，完成机器人的动作控制。为了提高动作控制和路径的优化，采用人工势场对蚁群算法进行改进，提高了采摘机器人远程控制的准确性和高效性。

2 基于势场蚁群算法手势识别和路径决策

对于采摘机器人的动作规划，可以采用栅格法。栅格法简单、便于实现，执行效果较好。根据采摘机器人的尺寸和体积，在二维环境内对其移动距离进行规划，而规划的依据是手势识别。手势识别的3D模型如图4所示。

新教师需求为工科新教师培训目标之基石。学校培训总目标与学校培训分目标均以新教师需求为出发点，结合学校与国家之要求，高于新教师之需求，成为新教师参加培训的指挥棒、力量发动机、效率生发器。

将3D模型进行有限元划分，可以划分出多种手势动作，控制机器人的各种移动。利用栅格法，在进行手势识别后，机器人需要重新规划路径，其移动方向为8个，将二维环境划分为0和1二值化信息图，栅格序号Q和坐标(x,y)的关系为

(1)

图4 手势3D识别模型

为了提高采摘机器人的移动效率，使用蚁群算法对移动路径进行控制。利用栅格法，第k只蚂蚁在t时刻由节点Pt+1(x,y)=u移动到下一节点Pt+1(x,y)= ν的概率规则为

(2)

其中，Tuv(t)表示节点ν信息素浓度；α表示浓度的因子；β表示启发因子；allowedk(t)表示采摘机器人下一步的选择节点；ηuv(t)表示距离函数，其表达式为

ηuv(t)=1/duv

(3)

蚂蚁在进行一次循环后，利用信息浓度对路径进行更新，则有

Tuv(t+ζ)=(1-ρ)Tuv(t)+ΔTuv

(4)

(5)

(6)

其中，ρ(0<ρ<1)表示信息浓度所具有的挥发性；ΔTuv表示信息浓度在本次循环中的增量；Lk表示采摘机器人控制路径的长度。定义人工势场的引力函数为Uatt(x)，其表达式为

(7)

其中，Katt表示人工势场系数；XB和X分别表示机器人的目标和所处的位置，其表达式为

(X,XE)=‖X-XE‖

(8)

远程控制通过手势识别，其目标识别的引力为场函数的负梯度，其表达式为

(9)

其中，ng表示目标位置和当前位置指向矢量。为了提高手势识别的准确率，引入了斥力场函数Ump(X)，从而保证了目标点为全局最小，其表达式为

Ump(X)=

(10)

其中，Kmp表示斥力场系数；X0表示目标手势；X表示机器人当前位置；λ表示手势的影响范围。移动机器人所受到的斥力范围为

(11)

(12)

(13)

其中，n0表示采摘机器人和障碍物的指向单位矢量；ng表示机器人和目标的指向单位矢量；分力Frep1表示斥力作用；Frep2表示引力作用。于是，采摘机器受到的场合力F为

F=Frep1+Frep2

(14)

在场合力的作用下，通过手势图像识别，利用无线通信设备可实现采摘机器人的远程控制功能。

3 采摘机器人手势识别远程控制测试

为了验证本次设计的势场蚁群算法的可行性，在普通采摘机器人上安装了手势识别的远程控制系统，通过硬件编程的方式对算法进行了测试。在测试设备中，机器人识别系统需要采用深度相机，为了节约实验成本，采用微软推出的游戏机XBOX的外部设备Kinect，实现了图像的连续抓拍和识别。采摘机器人的作用测试过程如图5所示。本次测试使用的远程控制采摘机器人，在识别系统中使用了Kinect相机，该相机采用光编码技术，与传统的光测量技术不同，采用连续照明而不是脉冲照明；其芯片不许特殊制造，采用普通的CMOS感光芯片即可，成本低，而功能强大。

图5 手势识别远程控制测试使用机器人

为了测试手势识别功能，首先定义了动态手势，手势命令描述和意义如表1所示。

表1 动态手势定义表

不同的手势代表了不同的机器人控制命令，令机器人进行不同的操作，实现了人和机器人的交互性功能。手势识别过程如图6所示。

图6 向右命令手势示意图

由图6可以看出：基于蚁群算法的手势识别系统可以有效地追踪得到不同的动态手势，而且可以准确地识别手势所代表的意义。通过测试得到的手势识别结果如表2所示。

表2 手势识别实验结果表

由表2可以看出：本次设计的蚁群算法手势识别系统的识别率较高，稳定性较好，具有很强的实时性。为了验证人工势场对蚁群算法的作用，对比了常规蚁群算法和人工势场蚁群算法的结果，如图7所示。

图7 迷失蚂蚁数量对比结果

由结果对比可以看出：使用人工势场可有效降低迷失蚂蚁的数量，并提高算法的准确性。图8表示通过计算得到的路径长度控制结果。

图8 路径长度控制对比结果

通过对比常规蚁群算法和人工势场蚁群算法的结果发现，使用人工势场可以有效地缩短控制路径的长度，提高了算法的效率。

4 结论

依据人工势场和蚁群算法，采用Kinect深度相机，结合手势识别方法，设计了一种新的采摘机器人远程手势控制系统，实现了采摘机器人的远程人机交互功能，提高了采摘机器人对恶劣环境的适应性。

通过Kinect深度相机采集了手势图像并提取了手势特征，并将其转换成了机械手舵机的控制命令，通过无线网络发送至采摘机器人控制单元，实现了视觉手势对机器人的远程控制。

通过对基于蚁群算法的手势识别系统进行测试后发现：该系统可以有效追踪得到不同的动态手势，手势命令的识别率较高；并且使用人工势场可以有效地改进蚁群算法，提高了算法的准确性，有效地缩短控制路径的长度，提高了算法的效率。

[1] 杜钊君,吴怀宇.基于激光测距与双目视觉信息融合的移动机器人SLAM 研究[J].计算机测量与控制, 2013, 21(1):180-183.

[2] 杜钊君,吴怀宇,韩涛，等.基于遗传算法的移动机械臂轨迹优化研究[J].机械设计与制造,2013(5):133- 136.

[3] 关然,徐向民,罗雅愉，等.基于计算机视觉的手势检测识别技术[J].计算机应用与软件,2013,30(1): 155-159, 164.

[4] 梁秀波, 张顺,李启雷，等.运动传感驱动的 3D 直观手势交互[J].计算机辅助设计与图形学学报, 2010, 22(3): 521-526, 533.

[5] 包加桐,宋爱国,郭晏，等.基于 SURF 特征跟踪的动态手势识别算法[J].机器人,2011,33(4): 482-489.

[7] 于美娟,马希荣.基于 HMM方法的动态手势识别技术的改进[J].计算机科学, 2011,38(1): 251-252.

[8] 李忠海,王莉,崔建国，等.基于Camshift 和Particle Filter 的小目标跟踪算法[J].计算机工程与应用, 2011, 47(9): 192-195, 199.

[9] 王洪光,姜勇,房立金, 等.双足爬壁机器人壁面凹过渡步态规划研究[J].智能系统学报,2007(4):40-45.

[10] 薛胜雄,任启乐,陈正文,等.磁隙式爬壁机器人的研制[J]. 机械工程学报, 2011,47(21): 37-42.

[11] 李志海,付宜利,王树国.四轮驱动滑动吸盘爬壁机器人的动力学研究[J].机器人,2010, 32 (5): 601-607.

[12] 钟灶生,薛方正,敬成林.分布式电源在仿人机器人控制系统中的应用[J].传感器与微系统,2011,30(2): 139-143.

[13] 李文生,解梅,邓春健，等. 基于多点手势识别的人机交互技术框架[J].计算机工程与设计,2011,32(6): 2129-2133.

[14] 张毅,张烁,罗元，等.基于Kinect深度图像信息的手势轨迹识别及应用[J].计算机应用研究,2012,29(9): 3547-3550.

[15] 冯秀军,杨立东.2BDY-8型2垄密型高速气吹式精密播种机简析[J].农业机械,2007(8):85-86.

[16] 孟庆山.水源热泵机组变流量水系统节能优化探讨[J].制冷与空调,2010,10(1):84-89.

[17] 荆雷,马文君,常丹华，等.基于动态时间规整的手势加速度信号识别[J].传感技术学报,2012,25(1):72-76.

[18] 王东,赵宇,王秀红.一种改进的DFT迭代的MIMO-OFDM系统信道估计算法[J].应用科技，2009(3):19-22.

[19] 徐忠燕,简毅,任海洋.基于P87LPC768的小功率直流电动机调速系统[J].机械与电子,2009(7):46-47.

[20] 赵庆波,赵德安,姬伟, 等.采摘机器人视觉伺服控制系统设计[J].农业机械学报, 2009, 40( 1): 152-156.

[21] 于美娟,马希荣.基于 HMM 方法的动态手势识别技术的改进[J].计算机科学, 2011,38(1): 251-252.

[22] 吴忠强,张晓霞,舒杰.柔性机器人基于自适应模糊动态面的实用稳定控制[J].中国机械工程,2012,23(19): 2297-2301.

[23] 过希文,王群京,李国丽.基于动态面的机械臂轨迹跟踪神经网络自适应算法[J].系统仿真学报,2011,23(11):2327-2332.

[24] 李晓刚,刘晋浩.基于反演设计的码垛机器人神经网络自适应控制[J].包装工程,2012,33(1):80-85.

Research on Hand Gesture Recognition of Remote Control Picking Robot Based on Potential Field and Ant Colony Algorithm

Yuan Lulu, Zhang Weiwei

(Henan Polytechnic Institute, Nanyang 473000, China)

When the robot is unable to cross the obstacle in the operation, or when the dangerous area can not be manually picked up, it needs to use the remote method for real-time control, so that it can successfully cross the obstacles, and in the high risk environment to carry out the picking operation effectively. In order to optimize the robot remote control system, a remote control scheme based on gesture recognition is proposed, and the potential field ant colony algorithm is introduced to improve the accuracy and efficiency of the robot. In the remote control scheme, the gesture recognition combined with remote control robot arm based on the depth camera gesture image and extract the gesture features into manipulator servo control commands, and through the wireless network to the picking robot control unit, to realize the remote control of the robot visual gestures. Finally, the robot is tested. The recognition system based on ant colony algorithm can effectively track the different dynamic gestures, and can accurately identify the meaning of gestures. This method can not only realize the function of obstacle avoidance, but also can be used in the area of the valley, the swamp and so on.

picking robot; artificial potential field; ant colony algorithm; hand gesture recognition; remote control

2016-03-10

河南省自然科学基金项目(2015ZCB115)；南阳市科技攻关项目(2012GG029)

袁路路(1982-)，女，河南南阳人，讲师，硕士。

张娓娓(1985-)，女，河南南阳人，助教，硕士，(E-mail)wwandll80@qq.com。

S225；TP391.41

A

1003-188X(2017)05-0236-05