计算机视觉技术在移动机器人中的应用

吴震宇，黄佳

(1.上海电气自动化设计研究所有限公司，上海 200023;2.华东理工大学，上海 200237)

0 引言

伴随着机器人技术相关理论、设计、制造和应用的逐渐成形，移动机器人技术在军事、工业和家庭服务业中得以广泛应用，并愈发引起人们的关注。其中移动机器人目标动态跟踪和3D空间场景重构成为了目前一个研究热门方向［1-3］，［4］1。本文在综合国内外移动机器人的研究现状的基础上，针对中国服务机器人大赛竞赛规则和特点，设计了一种基于双目视觉的机器人视觉系统，其中采用OpenCV、OpenNI、OpenGL等主流计算机视觉平台，提出了将2D平面图像重构3D立体空间图像的算法策略，并将其作为移动机器人的物体跟踪的手段，取得了良好效果。

1 移动物体的识别检测的简化和优化

1.1 基于OpenCV的移动物体的识别检测简化

OpenCV的特点是在复杂的背景环境中，可以将检测视频流中目标移动物体的轮廓、形状、颜色等参数，从背景中进行分离［5］，［6］。这对于运行中的移动机器人目标判断非常有益。

其主要流程是:视频的获取→视频格式转换→获取图形的预先处理→将目标物从背景中提取→缩小周边背景对于图像处理的误影响→运动物体特征的判别→运动物体的精确跟踪。

从上述流程可以看出，其核心是被检测物体从复杂环境中剥离。算法提取和剥离的过程就是将视频流每一帧画面的差异鉴别出来。

就移动机器人目标动态跟踪而言，检测速度是运动物体跟踪效果的关键，因此对其监测流程算法必须进行优化，缩短检测时间，对此，本文在原有算法的基础上以下二方面进行简化:

在动态图像获取方面，采用了实时截取视频图像的方法。

在图像的预处理方面，则采用了对捕获到视频流图像的噪点进行预处理滤除的方式，以达到平滑图像，对背景图像进行初始化和更新的目的，以利于在图像检测时，物体和背景和前景的分割。

在以上简化的基础上，通过阈值化，可以以得到的运动物体的二值化图像，将前景物体从背景分离出来。

优化调试程序也是提高监测速度的重要手段，经过不断改变阈值大小并反复对比测试，可以提高对目标物体捕捉的准确性。同时根据环境条件(诸如光照强度、光照角度等)的变化，预设优选的阈值条件，使检测和跟踪的性能可以满足移动机器人的判读需要，兼顾了图像的质量和速度。

1.2 基于Kinect的移动物体的识别检测简化

如图1所示，视频头的视场由近及远呈现出三角型，即离镜头越远的对象较之较近的对象有较大的视场，这反映出影像的宽度与高度，与视频头所处的物理位置之间并非完全对应。

为了简化视频分析，提高解析速度，本文利用截取图像中特定位置的深度值，并将深度图与RGB像素图结合，找出目标物体与摄像头的距离，从而进行实时分析判断。对深度图中像素进行分析是，像素点信息通过16位的数据来定义。根据BytesPerPixel原理，一个像素占用二字节，因此每一个像素的深度值只占用了13个位字节。如图2所示

2 视频头坐标的标定

视频头坐标的标定是基于透视几何原理，其本质就是坐标变换:对视频头本身的坐标系，现实物体的自然坐标系，2D图像的平面坐标系进行转换，即可实现对于3D的重构。

图1 Kinect视野范围示意图

图2 深度值图

1)视频头坐标到2D坐标的转换

首先必须对视频头自身坐标进行定义。如图3所示，将其原点设定为光O，以此为准建立标准的X、Y、Z的三维坐标系，此坐标系中各个点在坐标中定为:(XC，YC，ZC)T。

在此基础上，为解决模型透视的问题，需建立图像平面的坐标体系，其原点同样选择O点，在此称为主点。但不同之处在于垂直平面X-Y坐标系与视频头方向相反。

图3 视频头坐标、图像平面坐标对应图

若定义其空间点在视频头坐标系中坐标位置为Object( XC，YC，ZC)，平面坐标中的某点位置为Object(x，y);如果 d是图像平面点到光心O的距离，则投影模型如下:

其投影矩阵为:

由于物体距离光心的距离d不会正好是焦距f点上，且其距离通常大于焦距点，为此需引入“虚拟平面”的概念:即在光轴Z上设置虚拟图像平面，对于平面图像呈光心对称，在此“虚拟平面”上设定两位坐标系，并且规定远点和光轴一致，摄像头的垂直平面与“虚拟平面”的垂直平面方向一致。

实际图像的点投射到视频头坐标上，再投射到“虚拟平面”上。

由于轴线的对称性，“虚拟平面”中的点坐标也同时满足之前描述的投影模型。

图4表示了物体在三不同坐标之间的关系。

图4 视频头坐标系、图像坐标系、“虚拟坐标”关系图

2)自然坐标系与视频头坐标系的转换

由于移动机器人位置是移动的，因此需要一个能表达视频头相对于空间物体位置的基准坐标系，即可以确定环境中的物体几何尺寸、位置等各种空间物理参数，为此坐标系XW，YW，ZW的世界坐标系，利用向量平移和矩阵旋转，可以完成标定以上参数的功能，其影射关系如图5所示。

世界坐标系与视频头坐标系解析关系为:

图5 视频头坐标系与世界坐标系之间的解析关系

其中TX，TY，TZ为坐标各方向上的平移量。

3)图像平面中的坐标转换

3D图像重构中，图像平面坐标变换是关键一步。在实际情况中，光轴上的图像坐标系、像素坐标系所设定的坐标原点是不一致性;同时采集设备采集速度存在着不一致性，型号、功能参数相同的采集装置了采集速度也存在差异，其结果就是在变换过程中产生误差;在对图像中像素坐标点进行两轴分析时，也不能完全依照标准直角坐标轴进行矢量分析，这些问题增加了计算数据以及重构运算复杂性。

因此，建立像素点的坐标系和图像的坐标系的转换是很有必要的［4］3，［5］3，如图 3.4 所示。通过进行模数转换，即一系列的像素点(pixel)矩阵排列形成数组形式A×B(A行B列)，其像素点的数表示的是图像点的亮度值，并依此来定义出像素坐标系。

如图6所示，图像坐标系是以(o)为坐标原点的直角坐标系，而像素坐标系则是以(o1)为坐标原点，其标定非均匀分布，因此二坐标系角度非直角，呈现出为一个随机角度［7］。两坐标轴间位置关系如图3.4所示。为分析图像和像素的变换关系，设θ表示u，v两轴之间的夹角，像素点在x轴和y轴上的物理尺寸为Δx，Δy，其中(uo，vo)为光心O在像素坐标系中的位置，其矩阵关系为:

图6 图像坐标系、像素坐标系相互关系图

其中(x，y)是图像坐标系中以毫米为单位的位置。(u，v)是以个像素个数为单位的图像坐标系中的位置，得:

通过以上变换，实现了双目视觉的重构，能显示出环境的三维效果。在结合摄像头标定和双目矫正后，算法可以精确的重构出周边环境的三维重构数据。该数据可使用cvStereoRectify进行修正，利用cvReprojectImageTo3D函数来计算三维坐标;以Open-GL库中的FreeGlut函数将重构数据实时显示出来。

3 运动物体三维图像检测的实验验证

以上述推导为依据，在平面图像至三维图像的转换中，可利用三维实景中丰富的深度数据，进行目标辨识，实现动态目标的实时检测与跟踪［8-9］。

图像深度数据分析流程如图7所示。

1)实验参数的选定:

cvThreshold(depthIndexImage，pFrImg，64，255.0，CV_THRESH_BINARY);

设定阈值参数为64:

rect.height+rect.width)＞=150＆＆ (rect.height+rect.width)＜=200

图7 运动物体的分析流程图

不同环境中的目标物体有所不同，可根据试验，获取描述该物体的最合适的参数，从而可以更精确的检测出目标物体的形状和运动状态。

2)实验检验

如图8(a)所示，在验证实验中，三维景深图中镜头前为一根手指移动时机器视觉的检测效果，摄像头跟踪了手指的运动轨迹。图8(b)图中一手臂在远处挥动，系统也识别出其为运动的物体，实现了跟踪。实验效果证明:以Kinect采集大量模拟数据为基础，结合OpenNI、OpenGL，能够较好地检测出运动物体的外形，并在3D环境中，捕捉到运动中的物体。经过改进简化的算法，图像的采集和检测速度，能满足移动机器人物体抓取的要求。

图8 3D图中物体的检测与跟踪

4 结束语

本文运用了点云算法和深度景深图原理，并根据应用对象特点，改进相应算法，构建了软硬件的平台，提高了检测速度，利用视频头替代人眼，将2D场景的数据重构成3D场景。实现了移动机器人双目系统的对象分割、物体识别与跟踪、判别决策等功能。目前这一平台已经在相关移动机器人中得以应用，取得了良好成绩。

［1］曹其新，张雷.轮式自主移动机器人［M］.上海:上海交通大学出版社，2012.

［2］蔡叶菁.计算机视觉［J］.中国包装工业，2002，11(5):143-145.

［3］张梅，文静华.浅谈计算机视觉与数字摄影测量［J］.地理空间信息，2010，8(2):17-20.

［4］冯文刚.图像分析与理解的模型方法研究［D］.合肥:合肥工业大学，2011.

［5］GREGORY ROGEZ，CARLOS ORRITE-URUNUELA，JESUS MARTINEZ-DEL-RINCON.A spatio-temporal 2D-models framework for human pose recovery in monocular sequences［J］.Pattern Recognition，2008，41:2926-2944.

［6］张益贞，刘滔.Visual C++实现MPEG/JPEG编解码技术［M］.北京:人民邮电出版社，2002.

［7］吴国斌，李斌，阎骥洲.Kinect人机交互开发实践［M］.北京:人民邮电出版社，2012.

［8］C ANDERSON，PETERBURT，G VAN DER WAL.Change detection and tracking using Pyramid transformation techniques［J］.In Proceedings of SPIE-Intelligent Robots and Computer Vision，1985，(579):72-78.

［9］OTSU N.A threshold selection method from gray-level histograms［J］.IEEE.Transactions on Systrems，1979，9(1):62-66