Pioneer3-AT上基于双目立体视觉的环 境 识 别 系 统

杨 洁， 闫清东

(1. 西南林业大学 机械与交通学院, 云南 昆明 650224; 2. 北京理工大学 机械与车辆学院， 北京 100081)



Pioneer3-AT上基于双目立体视觉的环 境 识 别 系 统

杨 洁1， 闫清东2

(1. 西南林业大学 机械与交通学院, 云南 昆明 650224; 2. 北京理工大学 机械与车辆学院， 北京 100081)

针对研究用的平台——Pioneer3-AT的软硬件环境，结合基于双目立体视觉的环境识别过程、原理和实际的应用环境设计了一个双目立体视觉系统。根据经典图像传感器的特点、实际需求、要观测的视野大小、精度要求确定硬件参数，进而选择了两个CMOS摄像机，建立了几个可行的系统方案，并从中选定了一个符合本实验的方案。然后结合平台的结构和双目立体视觉系统实际的硬件技术要求，设计并制作了一个两层可水平放置两台摄像机的双目立体视觉实验或应用系统，最后加入了控制器——笔记本电脑构成了一个完整的环境识别系统。实验表明这个建立的试验系统比较实用。

平台； Pioneer3-AT； 双目立体视觉； 环境识别

0 引 言

在建立一个实验及应用系统时，首先要确定预期达到的目标、最终的应用要求、具体的应用环境、具体用的研究平台、所能支配的经费和后续使用的性价比，从而决定所购买的摄像机的配置参数和价格。其次要考虑所建立的这个系统的拓展应用性，因为只用某种单一的传感器构成的研究平台无法实现所有的功能和要求，某些条件下可能用激光传感器更合适，某些环境下用视觉信息更能符合要求，而某些场合用声納处理更能迅速准确地达到目标。除了考虑视觉系统的可拓展性外，还要考虑到其便利性，即在平台上建立的这个系统要能方便地放置其他类型的传感器或者能给研究平台留出余地去搭建其他的传感器识别系统。不同要求的应用环境、不同的研究平台及要达成的目标不同，所建立的双目立体视觉系统必然不同。本研究平台采用Mobile Robots Active Media公司生产的Pioneer3-AT智能机器人，它的内部高度集成了智能移动机器人技术，它已经具备了用自带的服务器和机器人客户端软件及自身的12个声纳传感器完成映像环境、寻找路径及其它复杂的路径计划任务的能力。赋予Pioneer3-AT智能机器人具有类似人类眼耳口鼻的各种功能，代替人去一些人不方便到达或难以到达的环境完成人类需要完成的工作是我们研究的终级目标。基于声納的环境识别系统是在周围环境有大障碍有回声波的情况下识别效果最好，若是在空旷的环境中它就可能无法工作。如今欲在它已经具有较强的声納探测能力基础上建立一个双目立体视觉系统，赋予其视觉探测的智能。本文主要探讨这个双目立体视觉系统的硬件系统的建立。至于如何完成其视觉的各种功能并与其他功能的传感器如何结合在一起，实现其全面的智能是下一步的工作。

1 Pioneer3-AT智能机器人的构成

1.1 硬 件

Pioneer3-AT智能机器人重约14 kg，主要由顶板、紧急停车按钮、用户控制面板、车身、车鼻、附件面板、声纳环、电机、车轮及编码器、电源、电池等构成。其中顶板由简单的平板构成，可以方便地在上面搭建由摄像机、激光雷达等构成的传感器检测系统。顶板两侧的贯通线槽可以将信号线引出接到侧边的附件接口上。打开机器人中间的塞子，就可对机器人内部进行操作。所有Pioneer 3系列机上的声纳环位置都是固定的：两侧各有1个，另外6个以20°间隔分布在侧边，这种布置可以为机器人提供360°无缝检测。Pioneer3-AT自带的声纳环可以用于障碍和距离检测，进而完成自动避障、定位及导航等功能。Pioneer3-AT的顶板结构见图1。其物理尺寸及规格如图2所示。

图1 Pioneer3的顶板构成

图2 Pioneer3-AT物理尺寸及规格

1.2 软 件

Pioneer3 -AT智能机器人的软件系统包括控制器软件和客户端软件两大系统。见图3。控制器软件是ARCOS(Active Media Robotics Control and Operating System)，客户端软件主要包括：MobileSim、MobileEyes、Mapper3、AriaDemo.exe、GuiSever.exe、SavClient、ACTS以及VNC viewer/pcAnywhere。ARIA是MobileRobots公司开发的、面向对象的、用于机器人控制的应用程序接口系统，它基于C++语言为各种智能机器人系统提供优秀的客户端界面，其中包括控制器和各种软件，可以利用这些工具自动生成、编辑、使用地图和平面图来开发机器人的应用程序，包括定位和导航，其中的ARNetworking提供了MobileRobots和网络通信的TCP/IP协议层。Pioneer3-AT可利用优秀的ARCOS服务器和机器人客户端软件及自身的12个声纳传感器可以完成映像环境、寻找路径及其它复杂的路径计划任务。

图3 Pioneer3-AT型机器人各软件间的关系

2 基于双目立体视觉的环境识别过程

如何用一个双目立体视觉系统获取的环境图像信息完成对具体环境的识别并指导机器人的行驶，是后续的工作。这里只研究如何在Pioneer3-AT智能机器人上根据用视觉识别环境的流程建立一个可行的双目立体视觉系统，从而实现它在非结构化道路中行驶的障碍识别的硬件平台的搭建。

采用图像信息控制机器人运动的流程见图4。其中，图像处理模块完成对道路路面信息的采集和预处理；特征提取模块完成对图像的分割、聚类等；图像匹配模块完成对实际行驶环境的图像信息的匹配，并获取环境的视差和深度距离信息；障碍检测模块中对典型障碍进行建模，再结合Pioneer3-AT 的结构模型求解其能够跨越这些典型障碍的临界条件，判定障碍能否跨越，为后面的运动控制模块提供必要的判断依据；而运动控制模块通过获取的相关环境知识控制小型无人机动平台的直行和转向运动控制。

图4 基于视觉的环境识别系统

在建立这个基于视觉的环境系统时，具体需要考虑以下几个方面:① 要足以应付道路环境的复杂多样性；② 要能巧妙地结合利用Pioneer3-AT的结构，又不影响它已有的声纳探测能力；③ 购买的摄像机配置既能满足要求，还要尽可能地降低成本；④ 如何设计摄像机的摆放位置使得我们既可从硬件上降低后续图像匹配等环节的计算量，从而在硬件上解决双目立体视觉系统的技术瓶颈问题——计算量大[5]；⑤ 便于视觉系统的拓展，比如要能较方便地改变2个摄像机之间的水平距离，或调整视觉系统的高度从而调整视野的大小，实现获取多种视野的视觉信息。或者因为研究或应用的需要，能方便地将这个双目立体视觉系统拓展为多目视觉系统；⑥ 建立的这个视觉系统或者具有可在其上构建新的雷达探测系统的能力，或者要在平台上为诸如雷达一类的传感探测系统留出搭建的余地。同时还要考虑不影响中央处理器(即笔记本电脑)的放置。

3 双目立体视觉系统中摄像机的选择及构建

一个双目立体视觉系统的工作流程是: 用标定模块对拍摄的多对图像进行离线标定，得到摄像机和立体视觉系统的标定参数，以文件形式存储在计算机中。同时打开左右摄像机, 对采集的实时图像对进行预处理，然后进行匹配得到目标物的像素坐标对。最后利用离线标定得到的立体视觉系统标定参数和匹配模块得到的目标物像素坐标对，在测距模块通过深度计算算法得到目标物的三维世界坐标。

3.1 图像传感器的选择

用于环境识别的图像来源于摄像机。这里用的是工业相机又俗称工业摄像机，与民用相机相比，它具有更高的图像稳定性、高传输能力和高抗干扰能力等优势，是机器视觉系统的关键组件之一，根据应用环境、摄像机的性价比及经费选择性能良好的工业相机，对于机器视觉系统的稳定性有着重要影响。

图像传感器目前广泛应用的主要有CMOS和CCD 2种光敏介质，它们各有千秋。

(1) 电荷藕合器件(Charge Coupled Device，CCD)，它使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号。CCD的成像质量好，但在相同分辨率下，价格比CMOS高。

(2) 互补型金属氧化物半导体(Complementary Metal Oxide Semiconductor, CMOS)。CMOS主要是利用硅和锗两种 元素 所做成的半导体，其电源消耗量比CCD低，但非常容易出现杂点[1-7]。

本研究根据应用环境初步确定选择2台CMOS的彩色摄像机，最大分辨率为744×480。

3.2 方案分析及选择

确定完摄像机要用的大种类后，根据中央处理器的结构和性能建立可用的方案，最终确定摄像机具体的配置参数后开始采购相关的设备。具体而言：

首先明确需求， 确定是动态检测还是静态检测，如果用于运动检测，则要确定检测物体的运动速度；然后要确定要观测的视野大小和检测产品的精度要求。

其次根据客户需求确定硬件参数。硬件的相关参数会影响其性能，因此要先确定其相关参数后再确定硬件的类型，主要确定：

(1) 确定像素的大小。目前市场上的软件精度一般没有误差，但硬件误差不可避免。 可以通过如下的公式进行计算：

精度=视野(长或宽)÷像机像素(长或宽)

例如：假设视野为15 mm，精度要求为0.03 mm，那么像机的像素=15÷0.03=500像素，那就只需要30万(640×480)像素的相机就可以了。

(2) 确定像机的传输方式。目前市面上的像机传输方式及其应用的优缺点如下：

① 模拟像机(需要连接图像采集卡进行图像存储)，具有稳定、性价比高等优点，但分辨率低、帧率低，一般每分钟只能达到25～30帧，它在对速度要求不高时适用。

② USB接口像机，系统只用到单个/两个相机的可先择此款。具有传输、连接方便、不需要占PCI插槽、方便使用、性价比高等优点，但占系统CPU多；

③ 1394接口像机，系统用到多个相机的时候可选择。具有占用系统CPU少、传输较远的优点，但占PCI插槽，价格相对USB接口的要高。

处理图像的中央处理器分为采用笔记本和工控机两大类。从而可以建立如下几个方案：

(3) 采用笔记本电脑。

方案1：笔记本电脑1台，2个1394接口的数字摄像机，1394笔记本卡，2个镜头，1个直流电源(12 V)。

这个方案里又分为两种：

① 2个摄像机都通过1个1394接口转换专用的firewire接入笔记本电脑，firewire需要另外提供一个12 V的直流电源，但因firewire是单通道总线，若两路同步输入，带宽不够，摄像机的性能只能发挥一半的作用；

3.6 放疗/手术切除 放疗适用于局灶性EBV-PTLD患者，主要用于缩小肿瘤。最近Murad等用局部放疗联合RI成功治疗1例皮肤PTLD患者，随访3个月，无复发[26]。手术切除多用于局灶非侵袭性和急症PTLD患者，包括穿刺失败以及出现肠穿孔、肠梗阻和胃肠道出血等患者；而复杂性肠道PTLD患者手术切除后早期具有较高的死亡率。研究[27]显示，EBV-PTLD患者经利妥昔单抗治疗联合化疗后，肠穿孔的发病率较高，因此建议对这些患者进行密切随访，及早发现肠道并发症。

② 一个摄像机用1394接口转换专用的firewire接入电脑，firewire需要另外提供1个12 V的直流电源，另一个摄像机通过笔记本电脑自带的1394-mini口接入，但需要信号发生器外触发，而且目前的实验调试结果出现同1个像机在这两个口采集的图像帧数不一样，即采集的图像对不能满足同步实时采集。

方案2：笔记本电脑1台，2个USB数字摄像机，USB驱动需要的5 V电源，笔记本电脑即可提供，无需外接电源，2个镜头，可通过笔记本电脑自带的两个USB接口直接接入。

方案3：网络配置方案

目前国内外比较成熟的采集二维图像数据的网络传输方案是采用“FPGA(现场可编程门阵列)+DSP(或ARM)”，此方案通过网络互联实现多摄像机的协同工作，具有成本低和系统灵活的特点。当高速采集时，由FPGA进行图像数据的压缩、编码等预处理后，通过网络接口将图像数据传输给计算机，完成对图像的存储和处理；当需要实时处理图像数据时，FPGA直接完成图像处理中的相应算法，而DSP(或ARM)只作为协处理器完成部分辅助处理算法及实现处理结果的网络传输[1,3]。但是这种方案要求电脑的网线接口至少是千兆网，本研究用的笔记本达不到要求。

(4) 采用工控机。使用的图像采集设备主要是2个同样型号CCD摄像机和1个视频采集卡，但工控机体积太大，装在本研究用的平台上会造成操作的不便。

结合图像传感器的性能、实际的应用环境、现有的试验条件及CCD和考虑，决定采用方案2，其中的图像传感器选用CMOS传感器。

4 基于双目立体视觉系统的环境识别应用

4.1 硬件组成

本实验的硬件主要由以下几个部分组成；

② ActiveMedia公司的Pioneer3-AT型移动机器人1台，最大载重40 kg,车体长50.1 cm，宽49.3 cm，高27.7 cm，车轮直径220 mm，车轮宽75 mm，齿轮比67∶1，最大转换角度700 mm/sec,最大穿越阶梯89°s，最大穿越间隙127 mm。自带有声纳测距传感器。

③ 陕西维视数字图像技术有限公司的MV-VD036SM/SC型USB2.0接口，数字面阵CMOS逐行扫描摄像机两台,标准镜头接口(CS及C口)，可控电子快门，全局曝光，无需附加机械快门，快门速度：1/10 000～0.25 s，尺寸(W×H×D)：50.8×50.8×30(mm)，工作温度：-10～45°C，重量、功率：约140 g、1.25W驱动支持：WDM、VFW、DirectX、OpenCV、Twain、LabView、Halcon、MIL，开发包：VC SDK、ActiveX OCX控件、.NET组件，支持Windows 2000、XP、Vista下程序开发工具及演示程序和源代码，供电要求5V(USB接口或外接电源供电)，图像分辨率为640×480、744×480, 帧速率高达 60f/s，像素尺寸为6.0 μm×6.0 μm，传感器件光学尺寸为8.5 mm。

④ 日本Computar公司的M0814-MP型镜头两个，焦距8 mm，手动可调光圈，光圈的范围F1.4-F14C，光学尺寸为17 mm(注：镜头的靶面尺寸必须大于或等于CCD的，否则会有黑圈)。

4.2 双目摄像机的安装

双目摄像机的安装方式和尺寸对整个立体视觉系统有重要的影响[8-16]。为了保证摄像机离线标定好的参数不改变，就要保证机器人在颠簸不平的路面上行驶时两个摄像机各自的位置及它们的相对位置不变，同时又不破坏Pioneer3-AT的原来结构，再考虑到摄像机的视野问题，因此设计并制作1个2层不锈钢架固定在顶板上。Pioneer3-AT智能机器人的顶板中间是用于操作的引线接口，为便于后续的控制操作不能覆盖，在较窄的一端有起停按钮，而且习惯上可以把这端视作尾部。尾部留出放置控制器——笔记本电脑。所以就把这个安装两个摄像机的钢架安装在较宽的一端，由图2可见，这个部分有10个用于固定顶板与机器人的螺丝，它们沿中心线对称。因此这个不锈钢架的底部两个固定用的底块的安装螺丝的位置就以图2中的位于中间的尚未到机器人圆弧处的4颗螺丝的位置，每个底块的2个螺丝固定在顶板两侧的这2个螺丝上，然后在2个底块的中间焊接2层水平架，其宽度为顶板上的2个螺丝之间的距离。为了降低图像匹配中的图像对的视差求取时间，在硬件设计上2个摄像机采用平行配置方式, 即它们的光轴相互平行且在同一水平高度上，这样就将视差求取从二维降为一维，简化计算，为视觉的技术瓶颈——实时性首先做到了理论上硬件上的实现。因此摄像机就安装在钢架的水平方向上，上面开有固定摄像机的槽，它可放置2个或多个摄像机。如果要改变双摄像机的基线长度只要在这个平层上移动摄像机即可。本研究中将2个摄像机及装在上面一层，组成的双目视觉平台如图5所示。

图5 双目立体视觉平台

这个架子的设计具有扩展性，有2层结构，即可以保证2个摄像机的水平放置，可方便地改变2个像机的基线长度，同时还可以调整这个双目系统的高度从而改变它的视野。如果需要2个以上的多目立体视觉系统，可以在这2个层上多摆放更多的摄像机。它的上层还可以加放其他传感器，比如激光雷达。

实际安装中有2个细节：

(1) 因为两个摄像机光轴之间的距离即基线长度越大,空间点在两摄像机图像坐标系中的视差也就越大,由此计算得到的深度信息的精度也就越高；基线越短,因为拍摄到的双目像机图像之间的差异越小,匹配过程中的计算量越小。本研究对采集的图像进行初步处理后结合实际的应用环境, 将基线长度取为76 cm。本研究中2摄像机之间的距离为(76-50.8)=25.2 cm。

(2) 摄像机光轴的下倾角。双目摄像机光轴的下倾角若太大,则距离机动平台较远的场景拍摄不到；下倾角若太小, 距离平台较近的场景又拍摄不到,本系统中因为机动平台运动速度不高，基线的距离选择也不大，将摄像机光轴的下倾角选为0°即水平安装,机动平台的高度为27.1 cm，2个摄像机的安装高度距机动平台的顶部25.5 cm,此时机动平台前端能够拍摄到的最近距离为52.48 cm，对1个边长为80 mm的正方形目标，从公共视野的盲点处到竖直方向的最小距离为99.755 cm。

5 结 语

双目立体视觉系统建成后，离线标定各个摄像机和系统的参数，在笔记本电脑上进行软件编程，将摄像机拍摄的图像数据传输到计算机里进行存储、图像处理、图像匹配，得到环境的深度信息，发出控制指令，将控制指令传输给机器人的ARCOS服务器。视频图像的采集和处理及机动平台的运动控制由笔记本电脑实现，实际试验和应用平台见图6。采用这个建立的环境识别系统进行了双目立体视觉系统的标定和图像采集、匹配和实时识别工作，结果表明该系统比较实用。

图6 基于双目立体视觉的环境识别系统

[1] 王力超，熊 超，王晨毅，等. 基于双摄像头的计算机立体视觉开发平台[J].实验室研究与探索，2007，26(3)：58-60.

[2] 刘 浏. 基于立体视觉的二维图像采集开发平台研究与实现[D].南京：南京理工大学，2008.

[3] 孙 迅,贾庆轩,孙汉旭,等. 双目立体视觉系统设计[J].科技信息，2008(34)：1-2.

[4] 张鹏飞, 何克忠, 欧阳正柱，等. 多功能室外智能移动机器人试验平台——THMR-V[J]. 机器人, 2002, 24(2): 97-101.

[5] 郭陆峰.双目视觉系统关键技术研究[D].泉州：华侨大学，2007.

[6] 王树刚,余 新. 浅谈光电耦合器CCD和CMOS的区别[J].科技信息，2009, 5(14)：257.

[7] 张 渂.双目立体视觉在障碍物识别及定位中的应用研究[D].南京：南京航空航天大学，2008.

[8] 崔 岩.基于双目立体视觉的距离测量[D].长春：长春理工大学，2006.

[9] 白生瑞. 基于双目立体视觉的自主导航车运行环境识别[D]. 西安：西安理工大学，2008.

[10] 方 恒.基于双目立体视觉的三维信息获取技术研究[D].武汉：武汉科技大学,2008.

[11] Lanshen GUO, Minglu ZHANG, Yang WANG, Gengqian LIU. Environmental Perception of Mobile Robot[J], Proceedings of the IEEE International Conference on Information Acquisition August， 2006(8)：20-23,2.

[12] Lanshen GUO, Minglu ZHANG, Yang WANG, Gengqian LIU. Environmental Perception of Mobile Robot[C]∥Proceedings of the 2006 IEEE International Conference on Information Acquisition August 20-23,2006,Weihai, ShanDong, China. P:348-352.

[13] 李 宇.基于双目视觉的障碍物识别研究[D].武汉：武汉理工大学，2007.

[14] 贾云得 编著. 机器视觉 [M]. 北京：科学出版社, 2000.

[15] 贾云得.视觉测量[M]. 北京: 科学出版社. 2003.

[16] 张广军 编著. 机器视觉 [M]. 北京：科学出版社, 2005.

An Environmental Recognition System Based on Binocular Stereo Vision on Pioneer 3-AT

YANGJie1,YANQing-dong2

(1. Faculty of Machinery and Transportation, Southwest Forestry University，Kunming 650224, China;2. School of Mechanical Engineering, Beijing Institute of Technology, Beijing 100081, China)

Focusing on the hardware and software environment of research platform - Pioneer 3-AT, a binocular stereo vision system was designed combining with the environmental recognition process, the principles and practical application environment. The hardware parameters were determined according to the characteristics of the classic image sensor, the actual demands, the field size to be observed and the required accuracy. Two CMOS cameras were selected, several possible system solutions were established. Among these, a solution was selected based on the experiment requirement. Then a horizontally binocular stereo vision test platform which can put two cameras was designed. Finally the controller - laptop constitution was added , and a complete environment recognition system was formed. Experimental results showed that this test system was very applicable.

platform; Pioneer 3-AT; binocular stereo vision; environment recognition

2015-05-21

云南省校专项项目(111201)；留学基金委基金资助项目(2014(3033))

杨 洁(1973-)，女，河南光山人,博士，副教授，主要从事计算机视觉应用及自动化控制与检测方面的研究，现在德国柏林工业大学的计算机视觉与远程遥感实验室访问。

Tel.：0871-63862648; E-mail: yj030315@aliyun.com

TP 391.4

A

1006-7167(2016)02-0102-05