双目立体视觉系统的研究

袁观娜 杨燕 张线媚

摘要 随着视觉神经学、计算机技术、图像处理技术以及人工智能技术等的发展，使得机器人模仿人的视觉系统成为可能。为了重建三维场景，研究了基于双目摄像机的双目立体视觉系统。融合人的眼睛处理视觉景物的方式，获取三维场景的深度信息。通过双目摄像头获取了被测物体不同位置的两幅图像，通过采集卡将图像信息传输给计算机，计算机通过图像预处理、选取颜色空间、图像分割、特征提取、立体匹配、三维重建等图像处理，真实再现了三维场景的几何信息。

关键词 三维场景 立体视觉 特征提取 立体匹配

中图分类号：TP391.41 文献标识码：A 文章编号：1674-098X（2016）01（b）-0000-00

0 引 言

人类获取外界世界的信息70%来源于视觉系统。视觉是人们观察、认识世界的主要手段。当人分别用左眼和右眼去看同一个东西时，物件的距离和空间感会变得不一样。这是因为人体的两只眼睛位置不同，令每只眼睛看出来的影像有所差异。当左右眼睛同时看东西时，所看到的影像传到脑部时，脑部会将两个影像合二为一，形成对物体的立体和空间感，即双目立体视觉。双目立体视觉系统就是利用视差原理通过成像设备获取被测物不同位置的两幅图像，利用计算机对这两幅图像进行图像处理，计算图像对应点的位置偏差，恢复和重建被测物三维几何信息。它融合两只眼睛获得的图像并观察它们之间的差别，可以获得明显的深度感，即可计算出物件的三维几何信息。

1 双目立体视觉系统

双目立体视觉系统由双目摄像机、图像采集卡和计算机组成。

双目摄像机包括两个摄像头，可以从不同的位置采集被测物的两幅图像。图像采集卡是双目摄像机和计算机之间的桥梁，图像采集卡可以将双目摄像机采集到的图像信号转换成数字信号传输给计算机，并保存在计算机的硬盘里。

计算机是图像处理的中心，主要通过算法完成。通过图像预处理、图像分割、特征提取、立体匹配等图像算法处理，解算出被测图的三维几何信息，同时进行三维场景的重建。

2 双目立体视觉原理

当一个摄像机拍摄图像时，由于图像中的像素点坐标相对于真实的世界坐标并不是唯一的，会造成深度信息的丢失。融合两只眼睛获得的图像并观察它们的差别，可以获得明显的深度感。因此，使用双目摄像机的两个摄像头同时拍摄同一场景，可以得到两幅图像，通过两幅图像的差别就可以获取三维世界坐标中的深度信息。如图1所示，真实三维空间中任意一点P（XW，YW，ZW），通过一个摄像机成像以后可以得到P点在成像平面上的投影点A1（X1，Y1），摄像机光心为O1点。但是相反，如果知道摄像机成像平面上的投影点A1（X1，Y1）是无法知道这一点对应空间的位置，因为丢失了深度信息，只能知道空间点在投影点A1和摄像机光心O1连接的直线上。如果通过两个摄像机，通过光心O1和O2测量P点，会得到P点在平面上的两个投影点A1（X1，Y1）和A2（X2，Y2），投影点和对应的摄像机光心连接会得到空间的两条直线，即空间点位于这两条直线上，则空间点即为两条之间的交点P点，而且可知这一点是唯一的。

3 双目立体视觉图像处理

3.1图像预处理

双目摄像机采集被测物的图像经采集卡传输给计算机的过程中会受到各种各样的干扰，使得图像质量下降，给图像识别造成困扰，因此在图片进行算法之前需经过图片预处理。图像预处理的目的是去除传输过程中带来的图片干扰，增强图片中被测物。图片预处理的好，会更有利于图片中被测物的特征提取及立体匹配。图像预处理可以在两个域内进行。一种是空间域，另一种是频率域，这两种方法都可以达到降噪的目的。

3.2 颜色空间的选取

图像处理的目的是从含有复杂背景的图像中识别出感兴趣的部分，并获取感兴趣的部分的特征信息，因此对于不同的图像信息需要选择适合的颜色模型，这样便于分析。颜色模型有很多种，常用的有HSI，Lab，CMY，RGB等，各有各的特点。选择合适的颜色模型有利于计算机快速识别感兴趣的部分的特征信息。

3.3 图像分割

图像分割就是将图片信息根据不同的特征分成多个部分，即图像元，这样便于特征匹配。图像元有自己的特征，使得计算机更容易识别和区分不同的图像元。因为图像信息较为复杂，去除噪声后，图像信息有计算机感兴趣的被测物，还有计算机不感兴趣的背景部分，因此首先将被测物与背景进行准确分割。将图像中感兴趣的部分保留，不感兴趣的部分去除，减少了计算机的识别工作量，提高了计算机的识别效率。常用的图像分割方法有基于灰度阈值分割法、基于区域生长的分割、基于边缘检测的分割等。

基于灰度阈值分割法是先将图片进行灰度化处理，灰度化处理可减少多余的信息，只包括需要的亮度信息。根据图像的亮度值分割的方法有最大值法、平均值法、加权平均值。基于区域生长的分割方法是将图像按照像素来分割，在图像中选取一个像素作为基像素，将周围的像素与基像素对比，若与基像素相同或者相似则合并，最后可得到很多像素相似的区域，完成图像的提取。基于边缘检测的分割方法是根据图像里轮廓线来分割的。图像中物体与物体交接的部分包含了大量的信息。可根据图像的边缘获取图像的边缘信息，将这些边缘信息按照一定的方式连接起来，就能将图像按照其边缘分割出来。

3.4 图像特征的提取

图像分割可以将图片中感兴趣的部分保留，但是两幅图像中感兴趣的部分需要一一对应。即获取三维空间中同一点在不同图像中的两个坐标。所以需要提取图像的特征进行比对。图像中的物体的特征是区别与图像其它部分的特有属性。对于计算机而言，图像识别的关键是通过这些特征值来判断。图像的特征有局部特征如点、线、面边缘等，全局特征如多边形、图像特征等。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征等，根据不同的特征选用不同的算法来提取特征。

3.5 立体匹配

双目摄像机左右两个摄像头对同一物体拍摄的两幅图像称为一个立体相对，立体匹配就是找到两幅图像中点和点一一对应的关系。要想进行三维重建，必须知道两幅二维图像中两个点的坐标。立体匹配通常用到的匹配算法有基于不变量的局部描述算子、基于统计学习方法。图像匹配的特征必须是唯一的，可再现的，并且具有物理意义的。

可以将立体匹配找到一一对应的两个点（u1，v1）和（u2，v2），带入图像像素与世界坐标之间的转换公式，其中Zc为P点摄像机坐标系下的坐标，M矩阵为摄像机投影矩阵。联立求解即可求的世界坐标系中P（XW，YW，ZW）的坐标。

图像处理和识别流程如图2所示。

5、结论

叙述了在windows平台下，根据视差原理，利用双目摄像机的两个摄像头采集被测物体的两幅图像，通过采集卡传输给计算机，计算机利用图形处理算法对两幅图像进行图形预处理、选取颜色空间、图像分割、特征提取、立体匹配等过程，最后进行三维重建，还原被测物在空间的三维几何信息。这种方法具有一定的适用性，可以获取三维场景中物体的形状、位置、姿态等几何信息，还能对他们进行描述、识别和理解，对于三维场景的重建具有重要的意义。

参考文献：

[1]马肖，舒博伦，李景春. 双目立体视觉测距技术[J]. 电子设计工程，2016（04）：81-83.

[2]张力，黄影平. 实时双目立体视觉系统的实现[J]. 电子科技，2016（03）：68-70+74.

[3]孫迅，贾庆轩，孙汉旭，洪磊，陈钢. 双目立体视觉系统设计[J]. 科技信息，2008（34）：1-2.

[4]牟雅丹. 双目立体视觉系统的摄像机标定技术[J]. 科技资讯，2009（33）：213+215.

[5]张力，黄影平. 实时双目立体视觉系统的实现[J]. 电子科技，2016（03）：68-70+74.