一种目标空间运动分析系统

屠礼芬，彭 祺，仲思东

（1.湖北工程学院 物理与电子信息工程学院，湖北 孝感432000；2.武汉大学 电子信息学院，湖北 武汉430072）

引言

立体视觉［1］是获取空间三维信息的关键，其核心技术在于2个方面：1）硬件上，需要对通过刚体连接的双相机进行标定［2］，获取各相机的内外参数；2）软件上，需要将真实目标在不同相机中对应起来，这个过程称为匹配［3］。国内外学者已经对立体视觉相关技术进行了大量的研究，并且已在核心技术上取得许多成果，但研究对象主要是针对静态立体图像对。本文研究的对象是运动目标，即引入立体视觉相关理论，获取“运动”状态下目标的三维信息。在标定与匹配问题上，我们可以对当前方法进行相应改进。但要从静态过渡到动态，实现空间运动分析，还有2个必须要面对的难题：1）属性一致的图像采集系统。双目立体视觉系统中的2个相机，要求参数、性能一致，但2个不同的个体，总会有微小的差别，这些差别在运动目标检测应用中，会导致运动掩模获取的误差，对后期定位的影响较大；2）相机同步问题。由于场景中目标是运动的，不同时刻其位置是不一样的，尤其对于高速运动目标，差异会很大，这就要求立体视觉系统中的2个相机要“精确”同步。虽然目前关于相机同步［4］的研究方法较多，精度较高，但依然存在误差，在空间运动分析系统中，这些很小的误差也是需要处理的。

针对以上问题，本文建立了一种空间运动分析系统，并针对其特点对当前的相机标定方法进行改进，用来获取其参数。该运动分析系统的核心部件由高速相机和3D镜头组成，可以从硬件上直接克服目标空间运动分析所面临的两个难题。更重要的是，由于只有单一的视频序列，其运动掩模的获取可以采用单视频序列下的运动目标检测算法［5－6］。另外，受限于该系统的视场和基距，传统的3D标定场［7］不再适用，所以本文还设计了一种改进的标定方法，可以适用于小视场、短基距立体视觉系统。

1 主要硬件设备

图1所示为空间运动分析系统核心硬件部分，由一个单一的高速相机和一个合二为一的立体镜头组成。

高 速 相 机 是 Optronis［8］提 供 的，型 号 为CL600X2／M，获取的图像是8位灰度图。它的图像传感器有较好的性能，其特点是具有高分辨率、高图像采集速率，全分辨率下，其有效像素在水平方向为1 280像素，垂直方向为1 024像素，最高图像采集帧率为500f／s。其全局式快门对于捕捉运动目标有较大的优势，在目标高速运动条件下，模糊、拖影等现象对于结果影响较小。

图1 空间运动分析系统核心硬件Fig.1 Hardware core of stereo motion analyzing system

3D镜头是Loreo［9］提供的，型号为Cap 9005，它获取的是一种平行模式的立体图像对。与普通镜头不一样的设计在于，3D镜头的前端由2个一样的镜头组成，2个镜头分别成像，并在后端进行拼接，成像在同一个CCD部件的左右2部分。由于2个镜头有视差，具有与传统立体相机一致的获取目标空间信息的功能，因为使用的是同一个CCD芯片，所以镜头属性的一致性较强，并且图像序列的采集是精确同步的。

图2（a）是用该空间运动分析系统获取的原始图像，图2（b）、2（c）为对原图左右对称分割后获取的左右像对。由于相机获取的原始图像需要平均分为左右2部分生成立体像对，图像分辨率下降了一半，为了保证足够的视场范围，相机模式选择为分辨率优先，原始图像分辨率为1 280像素×1 024像素，被分割后的立体像对分辨率为640像素×1 024像素。

图2 样本图像Fig.2 Sample images

2 标定方案

相机标定的基本思路是结合已知空间坐标的三维空间点的世界坐标系坐标及其分别在左右像对中的图像坐标，通过矩阵运算获取各相机对应的内外参数模型，一旦获取了标定参数，立体相机的相对位置是不可以改变的。本系统的标定方法结合了传统标定方法［10］的高精度和自标定方法［11］的灵活性、低成本，标定所使用的主要硬件如图3所示，由平面标定板、光栅尺组成，光栅尺有与其配套的数显设备，可以直接获取标定板在光栅尺上移动的距离。

图3 标定相关硬件Fig.3 Calibration components

图3中黑白棋盘格标定板的尺寸是已知的，假设左下角角点坐标为（0，0），横轴为X坐标，向右为正方向，纵轴为Y坐标，向上为正方向，那么可以依次获得所有角点的坐标（X，Y）。棋盘格被垂直地固定于光栅尺上，光栅尺固定于光学台上，其直线移动会使标定板随之前后移动，该“直线”即为Z坐标。按照右手坐标系原则，向前为正方向，光栅尺的移动距离即为深度Z值的变化，可以从数显表上精确读取。标定时，固定空间运动分析系统，将标定板移动到光栅尺上离系统最远的位置，设置数显设备为0，采集此时的图像，然后每移动一定的距离采集一帧图像，同时记录数显设备的值，记录此时标定板上所有点的Z标值。结合不同位置图像中各点在标定板上的平面坐标，可以生成各点的世界坐标系坐标（X，Y，Z），与传统标定方法中的三维控制场获取的点一样具有较高的精度，但硬件系统简单、设计灵活方便。最后可以使用传统标定方法，结合这些已知世界坐标系的坐标点分别在左右图像中的图像坐标，通过矩阵运算分别获取3D镜头和高速相机组成的单镜头立体视觉系统左右部分的内外参数。

本文使用的相机模型中，每个相机有4个内参数：r0和c0分别表示光心与图像中心的偏移，单位为像素；fu和fv分别为行方向和列方向坐标变换的中间变量，单位也为像素。所指的外参数指旋转量R和平移量T，通常是依靠6个外部参数来计算，分别为：平移元素t1、t2和t3，单位为m；角方位元素φ、ῶ和κ，单位为rad。关于这些参数更详细的描述及计算方法可以见本课题组较早的研究文献［7］。本文在标定时，将标定板置于4个不同的位置，即在4种Z坐标下分别获取标定板的图像，一共生成了660个可用匹配点对，通过矩阵运算，标定的左右相机内外参数如表1所示。

表1 空间运动分析系统参数Table 1 Stereo camera parameters

3 实验结果分析

为了验证本文建立的空间运动分析系统的有效性，选用了小球作为感兴趣的运动目标来进行测试，由于小球具有空间对称性，所以只需对其重心进行定位即可获取空间位置信息。由于目标比较单一，相机的视场小，场景并不复杂，所以使用了传统的GMM（Gaussian mixture model）算法［12］来快速获取运动掩模。然后将检测结果分割成左右图像对，分别获取左右图像中掩模部分的重心位置并记录其图像坐标。

两组实验都是轨迹可预测、可重复的，分别为自由落体运动和斜坡运动。二者的初速度均为0，且运动轨迹为直线，加速度为固定值，用a表示，单位为m／s2；用h表示距离，单位为m；t表示时间，单位为s。球只有全部进入视场才开始定位，此时的时刻用ti表示，那么不同时刻球的位置关系如图4所示。

图4 不同时刻球的位置关系Fig.4 Relations between different positions

图4中，t0为小 球 开始 运 动 的 时 刻，ti、ti＋1、ti＋n分别表示后续不同的时刻，与t0的时间间隔都是最小时间单位Δt的整数倍。其中Δt为帧间隔时间，此处为1／500s；hi、hn、hi＋n分别为ti与t0、ti＋n与ti、ti＋n与t0时间间隔内球的运动距离，它们的关系可以用（1）式～（4）式表示：

依次获取球重心在每个时刻的空间坐标系坐标值，则可以描述其空间运动属性，假设ti和ti＋n时刻球的空间坐标值分别为（Xi，Yi，Zi）和（Xi＋n，Yi＋n，Zi＋n），那么其距离hn可以表示为

类似地，对于有其他运动属性的目标，也可以根据这些参数设计不同的数学模型来估计目标速度、加速度等参数。

3.1 自由落体运动

自由落体运动是一个初速度为0的匀加速运动，运动轨迹为直线，由于三维空间坐标是一个相对值，所以单一的空间坐标值信息无实际意义，需要分析目标一系列连续的坐标值，才能达到分析目标空间运动属性的目的。图5为用该空间运动分析系统对自由落体空间轨迹的记录结果。由于相机的位置不会与标定时一致，所以该自由落体轨迹不是一条仅沿Y轴下降的直线，在沿X和Z轴方向也有变化，并且由于重心提取存在误差，该轨迹还有一些轻微的抖动，尤其是在开始和结束的位置，由于接近图像的边缘，因此误差较大。但该轨迹的线性度依然是比较高的，可以通过线性拟合获取其运动属性。

图5 球的空间运动轨迹Fig.5 Ball's space trajectory

球完全进入视场的时刻是ti，那么结合（1）式～（5）式及球在后续帧中的空间位置，就可以计算其值：

式中：由于是自由落体运动，a＝9.8m／s2，不同的n表示与ti有不同的时间间隔，但是所得ti的值理论上是不变的，由于误差的存在，不同帧计算的ti有一些差异。该实例选取了连续41帧来计算，那么可以获取40个不同的ti值，结果如表2所示。

分析表2中的数据可知，ti的平均值为＝0.283 057，标准差为σti＝0.007 137，表2中所有值残余误差都在3σ以内，不含粗大误差，故该系统可以实现对目标的空间定位。

表2 40个ti的取值Table 2 40 values for tiby consecutive frames

3.2 斜坡运动

斜坡运动是依靠一个带凹槽的导轨实现的。小球平行于导轨滚动，导轨不同位置之间距离是可以较精确测量的。假设开始定位的时刻为i，间隔固定的时间n后，再次获取其位置，两位置的关系可以参照（1）式～（4）式，那么依次获取时间间隔为n的小球空间位置，记为si，si＋n，…，si＋mn，那么位置si＋mn与位置si＋（m＋1）n之间的 距 离可表示为

导轨位置一旦固定，小球加速度a、初始时刻i为固定值，若固定时间间隔n，那么该距离与m呈线性关系，相邻2个距离差为常数。

依次获得球在世界坐标系中的位置，然后就可以根据（5）式获得小球在不同帧之间的距离。本实验采集了11个位置的图像，获取了10组距离值，检测结果如表3所示。表3中第1列为测量值，第2列为相邻2个距离差，第3列为手动测量导轨全长取平均后所获取的值，用来与本系统的测量结果对比，小球在所测量范围内的导轨总长为L＝0.72m，由于距离做了9等分，则对应真实值为L／9＝0.08m。

分析表3中的结果可以得出结论：绝对误差低于0.01m，并且系统无累积误差，相对来说，一个较大的测量值可以降低系统的相对误差。

表3 距离测量结果 mTable 3 Distances measurement results

4 结论

本文建立的一种空间运动分析系统引入立体视觉的相关理论思路，扩展了当前单相机视频序列运动目标检测课题的应用范围，可以用来获取感兴趣运动目标的空间位置并分析其运动属性，也使与其相关的跟踪、定位等领域更加符合人的认知习惯。针对从单视频到多视频扩展所遇到的相机属性一致性及精确同步问题，本文从硬件上提出了比较好的解决方案：通过前端的3D镜头将视场分割，在同一CCD芯片上成像，生成立体图像对，有效地解决了这2个问题。另外，由于立体像对序列实际上是从同一个图像序列分割而来的，所以可以使用传统单序列下的运动目标检测算法来获取运动掩模，再分割掩模图像生成有视差的立体图像对序列，易于实现。实验结果表明，该硬件系统可以有效地分析目标的空间运动属性，其定位较为准确，且数据的稳定性较好。

［1］ Hu X，Mordohai P.A quantitative evaluation of confidence measures for stereo vision［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2121－2133.

［2］ Zhang Zhengyou.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330－1334.

［3］ Cigla C，Alatan A A.Information permeability for stereo matching［J］.Signal Processing：Image Communication，2013，28（9）：1072－1088.

［4］ Shrestha P，Barbieri M，Weda H，et al.Synchronization of multiple camera videos using audio－visual features［J］.IEEE Transactions on Multimedia，2010，12（1）：79－92.

［5］ Tu Lifen，Zhong Sidong，Peng Qi.Moving object detection based on image sequences［J］.Journal of Applied Optics，2012，33（5）：899－903.屠礼芬，仲思东，彭祺.基于序列图像的运动目标检测［J］.应用光学，2012，33（5）：899－903.

［6］ Tu Lifen，Zhong Sidong，Peng Qi.A method for detecting moving objects and eliminating shadow in natural scene［J］.Journal of Xi'an Jiaotong University，2013，47（12）：26－31.屠礼芬，仲思东，彭祺.自然场景下运动目标检测与阴影剔除方法［J］.西安交通大学学报，2013，47（12）：26－31.

［7］ Liu Yong.3Dscene acquiring and modeling based on images［D］.Wuhan：Wuhan University，2004.刘勇.基于图像的空间三维数据获取及建模［D］.武汉：武汉大学，2004.

［8］ Optronis GmbH.CamRecord CL 600×2［S／OL］.［2013－4－10］：http：／／www.optronis.de／fileadmin／Upload／Product／CL／CL600x2＿engl.pdf.

［9］ Loreo Asia Ltd.3DLens in a Cap 9005［S／OL］.［2013－4－10］：http：／／www.loreo.com／pages／products／loreo＿3dlenscap9005.html.

［10］Sirianni M，Jee M J，Benitez N，et al.The photometric performance and calibration of the hubble space telescope advanced camera for surveys［J］.Publications of the Astronomical Society of the Pacific，2005，117：1049－1112.

［11］ Ma Songde.A self－calibration technique for active vision systems［J］.IEEE Transactions on Robotics and Automation，1996，12（1）：114－120.

［12］Kaewtrakulpong P，Bowden R.An improved adaptive background mixture model for real－time tracking with shadow detection［C］.USA：Kluwer Academic Publishers，2001.