陈至坤,曾凯,,RAMAN Paranjape,钱俊蕾,王福斌
(1.华北理工大学电气工程学院,河北唐山063000;2.University of Regina,Regina Canada S4S0A2)
在Optitrack系统下的移动机器人避障分析
陈至坤1,曾凯1,2,RAMAN Paranjape2,钱俊蕾1,王福斌1
(1.华北理工大学电气工程学院,河北唐山063000;2.University of Regina,Regina Canada S4S0A2)
Optitrack;机器人;避障系统;光流法
Optitrack系统是近年来最先进的光学运动捕捉系统,其追踪精度能达到0.1mm以下,机器人的自我避障功能是其实现自主导航的先决条件。使用Horn and Schunck提出的HS光流法建立机器人的自我避障系统,并在Optitrack系统下进行真实的避障试验,通过分析试验中得到的机器人行驶数据来验证系统的有效性,并对避障系统进行改进。
随着科学技术的发展、机械化水平的提高,越来越多的机器人被应用到了工业生产、物流配送、地质探测等领域中,因此,人们对机器人的智能化要求也越来越高。机器人的自我避障功能是其在未知环境下移动的基本功能,也是机器人实现智能化的先决条件,其避障方法主要是依靠传感器来测量机器人与障碍物之间的距离,并通过编译好的程序及时做出转弯动作。该项研究采用基于图像处理中的光流法来建立机器人的自我避障系统,并利用试验室中已建立的Optitrack运动捕捉系统,追踪机器人的避障效果。
Optitrack运动捕捉系统是近年来最流行的VR虚拟现实显示设备之一,其被广泛应用在游戏与动画制作、运动跟踪、力学分析、投影映射等方面,Optitrack定位技术属于被动式红外光学定位技术,原理是利用多个红外线摄像头所发出的红外线光照射到标记点上,由于标记点上的反光材料具有增强红外线光的反射能力,从而达到图像中标记点与周围环境明显区分的目的,将摄像头从不同角度采集到的图像传输到中央处理单元,从而获得标记点的坐标信息,该定位系统具有定位精度高、拍摄速率快等优点。
光流是利用图像序列中像素强度的时域变化和相应性来确定各自像素位置的运动,即研究图像灰度在时间的变化与场景中物体间运动的关系[1]。该项目所使用的HS光流法是基于梯度的算法,将摄像头拍摄到的图像序列作为输入,并利用图像序列计算出机器人行驶前方的光流场,利用光流场中的信息为后续的障碍物探测及避障策略计算提供帮助。
Horn和Schunck在光流场计算时提出了2个假设条件:(1)物体上同一点的亮度在相邻每帧图像变化时不会发生改变,(2)随着时间的变化,像素点的位置不会产生剧变[2]。基于2个假设条件推导出光流约束方程式(1),其中(Ix,Iy,It)为点(x,y)在t时刻的灰度值。
由于式(1)中有含有未知的水平分量u和垂直速度分量v,因此,Horn和Schunck提出光流在图像序列中满足全局平滑性约束条件式(2)[3]:
用松弛迭代法将方程E最小化,求解出公式中的未知量u和v[4]:
其中k为迭代次数,λ为权重系数,u-和v-是局部均值。
2.1 障碍物的探测
物体所处的运动环境被称为运动场,运动场中含有物体运动的信息,光流法就是将物体所处的运动场模拟为光流场,从光流场中提取出幅值最小的延伸点(FOE)并计算出碰撞时间(TTC),从而检测出机器人运行前方的障碍物[5]。
FOE(focus of expansion)表示机器人的运动方向,是机器人的3D运动向量在图像平面投影的坐标[6]。在摄像头沿光轴运动的情况下,FOE点处没有光流,而其周围点光流方向都是向外扩散的,且距离FOE点越远光流值越大[7],因此,该项研究选取光流场中幅值最小的点的坐标为FOE点的位置,而定位FOE点的目的则是为了求出机器人与障碍物的碰撞的时间TTC,碰撞时间可通过公式(5)求出[8]:
其中,x、y表示光流场中像素点(x,y)的水平和垂直坐标,(xFOE,yFOE)为FOE点坐标,u和v是点(x,y)的水平分量和垂直分量。当机器人向前行驶时,如果前方有障碍物,避障系统会根据行驶前方光流场的变化计算出机器人与障碍物的碰撞时间,根据碰撞时间的逐渐缩短,机器人会根据平衡策略进行转弯决策。
2.2 平衡策略
平衡策略是指将机器人行驶前方的光流场图像垂直均分为左右两部分,分别计算左右两侧光流场的矢量模,若左侧光流场中的矢量模之和大于右侧,则认为障碍物在机器人的左侧,机器人将会向右侧旋转避开障碍物,若右侧大于左侧,则机器人向左转。其平衡法则公式如下[9]:
2.3 避障系统设计
机器人的自主避障系统由远程控制检测端、机器人行驶执行端和避障决策端组成[10],其避障流程图由图1所示,当机器人上的电脑接收到上位机发送来的移动命令时,系统的运动执行端开始工作,电脑会通过USB转FTDI连接线向机器车上的Sabertooth控制板发送行驶命令,同时会控制摄像头开始采集机器车行驶前方的道路图像,电脑中已有的程序会对采集到的图像序列进行滤波处理并对图像序列进行光流场的计算,随着机器车的行驶,避障系统会根据光流场的变化探测出行驶前方是否有障碍物,并计算出机器车与障碍物之间的碰撞时间TTC,随着碰撞时间的缩短系统会进入平衡策略选择阶段,通过比较光流场中左右两侧的光流矢量的大小来决定转弯的方向。
图1 避障流程图
为了验证避障系统的有效性,该项研究提出在试验室中的Optitrack系统下进行避障试验,试验室中的Optitrack系统由6个红外线摄像头组成,如图2所示,该摄像头具有130万像素的分辨率,120FPS的采样率,运动跟踪精度误差可达到0.5mm以下,将能反射红外光的标志点小球分别放置在机器车及障碍物上,如图3所示,当机器人开始朝障碍物移动时,摄像头将跟踪标志点小球的移动,同时Optitrack自有的软件会在摄像头的坐标系中计算出标记点的坐标、标记点之间的距离、机器车上的标记点旋转的角度等信息。
图2 红外线摄像头
图3 机器人与障碍物
当试验开始时,机器人上3个标记点所形成的三角形的中心点坐标为(-1151.601,332.685,-523.764),障碍物与机器车之间的距离为2.189m,如图4所示,机器人以20cm/s的平均速度向障碍物驶去,随着机器人与障碍物距离的缩短,避障系统中计算出的碰撞时间TTC也逐渐减小,如图5所示,当TTC值小于阈值1.5s时,系统进入平衡策略选择阶段,从图6ΔF变化趋势图可以看出,左侧的光流场矢量和大于右侧,根据平衡策略避障系统将做出向障碍物右侧转弯的决定,如图7第11帧的光流场图像所示,机器人已偏向障碍的右侧,此时机器人与障碍物的位置如图8所示,机器人已基本避开障碍物并向前方继续行驶,两者之间的距离为803.0mm,中心点的坐标为(365.677,356.732,-46.429),旋转角度为-47.163°。
图4 机器人与障碍物位置图
图5 TTC图
图6 变化趋势图
图7 第11帧光流场图像
图8 避障决策后机器人与障碍物位置图
(1)该系统能准确判断出机器人运动前方的障碍物,并基于系统中的平衡策略做出相应的避障决策。
(2)由于光流场的计算易受到很多外界因素的影响,试验过程中会出现机器人距离障碍物较远便开始转弯的现象,因此,避障系统仍需要通过进一步优化改进来提升避障效果。
[1] 邵文坤,黄爱民,韦庆.动态场景下的运动目标跟踪方法研究[J].计算机仿真,2006,23(5):2-3.
[2] HORN B K,SCHUNCK B G.Determining Optical Flow[J].Artificial Intelligence,1981,17(1-3),185-203.
[3] BRUHN A,WEICHERT J,SCHNORR C.Lucas &Kanade meets Horn &Schunck:Combining local and global optic flow methods[J].IEEE international Journal of Computer Vision,2005,61(3):211-231.
[4] PATEL M P,PARMARSK.Moving object detection with moving background using optic flow[c].IEEE Conference on Recent Advances and Innovations in Engineering,Jaipur,India:ICRAIE,2014:1-6.
[5] LIAU Y,ZHANG Q,LI Y et al.Non-Metric Navigation for Mobile Robot Using Optical Flow,2012IEEE/RSJ International Conference on Intelligent Robots and Systems October 7-12,2012.4953-4958.
[6] SAZBON D,ROTSTEIN H,RIVLIN E.Finding the focus of expansion and estimating range using optical flow images and a matched filter[J].Machine Vision and Applications,2004,15(4):229-236.
[7] NAITO T,ITO T,KANEDA Y.The Obstacle Detection Method Using Optical Flow Estimation at Edge Image[C].Proc.Of IEEE Intelligent Vehicles.Istanbul,Turkey:[s.n.],2007.
[8] SOUHILA K,KARIM A.Optical Flow based robot obstacle avoidance[J].International Journal of Advanced Robotic Systems,2007,04(01).
[9] DUCHON A P,WARREN W H,KAELBLING L P.Ecological Robotics:Controlling behavior with optical flow[C].Proceedings of the seventeenth annual conference of the Cognitive Science Society.1995:164-169.
[10] 肖雪,秦贵和,陈筠翰.基于光流的自主移动机器人避障系统[J].计算机工程,2013,39(10):305-308.
Obstacle Avoidance Analysis of Mobile Robot in Optitrack System
CHEN Zhi-kun1,ZENG Kai1,2,RAMAN Paranjape2,QIAN Jun-lei1,WANG Fu-bin1
(1.College of Electrical Engineering,North China University of Science and Technology,Tangshan Hebei 063000,China;2.University of Regina,Regina S4S0A2,Canada)
optitrack;robot;obstacle avoidance system;optical flow
Optitrack system is the most advanced optical motion capturing system in recent years.Its track precision can reach below 0.1mm.The function of robot obstacle avoidance is a prerequisite for the autonomous navigation.HS optical flow method which was proposed by Horn and Schunck is used to establish robots self-avoidance obstacle systems,and actual experiments of obstacle avoidance were conducted in Optitrack system.By analyzing the robot driving data obtained in the experiment,the effectiveness of the system was verified,and the obstacle avoidance system was improved.
TP242.6+2
A
2095-2716(2016)04-0069-06
2016-07-10
2016-09-22
华北理工大学研究生创新项目(2015S15)。