一种基于立体视觉的双目摄像机的实现

柯常志+徐鹏

摘 要：利用双目立体视觉原理，介绍了一种双目摄像机的实现方法、标定等相关技术，同时结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现人数统计、人员站立或倒地的状态，并输出深度图信息，该产品在安防行业中得到广泛应用。

关键词：立体视觉；标定；世界坐标；摄像机坐标

引言

以视觉系统为基础的三维外形轮廓的非接触式、高速测量是一个重要的研究方向，双目立体视觉测量技术是计算机视觉研究的重点和热点。双目立体视觉通常由单个或两个摄像机从不同时刻、不同角度获得被测物的两幅图像，基于视差原理确定被测物体的三维轮廓，并计算轮廓上任意点的三维坐标，利用获取的三维坐标，对被测物体进行三维建模和三维重建。

文章介绍了一种基于双目立体视觉的双目摄像机，实现方法、标定等相关技术，以及应用。利用双目技术，结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现人数统计、人员站立或倒地的状态，并输出深度图信息。该系统具有测量精度高、速度快、结构简单、易于使用等优点，被广泛应用于医院、值班室、审讯室等诸多应用场景。

1 双目立体视觉原理

双目立体视觉三维测量是基于视差原理[1]，建立双目摄像机左右两个成像平面摄像机坐标与被测物体世界坐标之间的关系，图1为双目立体成像原理的简单示意图[2]，如图1所示。

图1 双目立体成像原理图

为描述方便和简化计算，图1中将左右成像平面（OLuv，ORuv）绘制在镜头的光心前f处（实际上摄像机的成像平面在镜头的光心后），两摄像机坐标系的原点本别在各摄像机镜头的光心处OL及OR，摄像机成像平面坐标系Oluv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，基线距Lb为两摄像机的投影中心连线的距离。真实世界坐标系中某点P在左右摄像机成像平面中相应的坐标分别为PL（ul，vl）和PR（ur，vr）。假定两摄像机的成像在同一个平面上，则点P点摄像机成像平面的Y坐标相同，即vl=vr。P点摄像机成像平面坐标有如下关系：

u1=f ■

ur=f ■ v1

v1=vr=f ■

其中：

（xc，yc，zc）为点P在左摄像机坐标系中的坐标；

Lb为基线距；

f为两个摄像机的焦距；

（ul，vl）和（ur，vr）分别为点P在左右摄像机成像平面中的坐标。

根据视差定义，即某一点在两幅图像中相应点的位置差：

d=u1 ur=f ■

可计算出真实世界坐标系中某点P在左摄像机坐标系中的坐标：

因此，通过建立世界坐标中某点与左右两个摄像机像面上的相应点的匹配关系，利用摄像机双目标定获得的摄像机内外参数，就可以确定这个点的三维世界坐标。

2 双目标定

双目立体视觉系统的标定是通过摄像机的内部参数标定，确定视觉系统中两个摄像机之间的位置关系，即两个摄像机之间的旋转矩阵R和平移向量T。通常采用标准的2D或3D精密靶标，通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数[3]。在实际标定中，采用14*14的棋盘格标定板进行标定，如图2所示。

具体的标定过程如下：

（1）将标定板放置在双目摄像机的正前方，确保标定板在左右两摄像机的视场范围内。通过调节标定板的位置、角度，获取多组标定板图像，通过左右摄像机中摄取到的标定板中棋盘格交点位置，确定两摄像机之间坐标关系，从而标定确定两个摄像机的内部参数，包括两镜头的畸变参数，镜头焦距，以及主点坐标等，以及两个摄像机的外部参数（RL、TL与RR、TR）。

其中，RL、TL表示左摄像机与世界坐标系的相对位置，RR、TR表示右摄像机与世界坐标系的相对位置。

（2）假定空间中任意一点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、xl、xr，则：

x1=RL xw+TL

xr=RR xw+TR

则xl、xr之间有如下关系：

xr=RRRL1x1+TR RRRL1TL

两个摄像机之间的位置关系R、T可表示为：

R=RRRL1，

T=TR RRRL1TL

3 双目摄像机实现

双目摄像机通过两个相同的镜头和Sensor采集图像，左右两路视频流经过同步曝光控制和ISP处理，通过视频分析处理模块，根据摄像机标定参数，计算物体世界坐标与摄像机坐标关系，最后经过数据输出模块输出物体的三维位置信息，双目摄像机的系统示意图如图3所示。

图3 双目摄像机系统示意图

在视频分析处理模块中，利用双目立体视觉原理，结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现对画面中特定区域的人头、头肩等特征部位进行识别，以此来区分人和其他物体，可以进行人数统计，如图4所示；根据人员和物体的三维位置信息，判断人员的站立和倒地状态，并且能够输出场景的深度图视频，深度图中灰度表示场景中物体离相机的距离，距离越远灰度越深，如图5所示。

4 结束语

双目摄像机利用双目视觉原理，有效获取了摄像机视场范围内人员和物体的三维位置信息，并准确计算得出人员身高和距离，精度达到厘米级，同时其测量速度快，结构简单，便于使用等优点，该产品已广泛应用于医院、值班室、审讯室等多个实际项目中，产生良好的应用效果。

参考文献

[1]戴君，赵海洋，冯心海.机器视觉[J].机械设计与制造工程，1998.

[2]马林.基于双目视觉的图像三维重建[Z].

[3]万卫兵，霍宏，赵宇明.智能视频监控中目标检测与识别[M].上海交通大学出版社.

作者简介：柯常志（1981，8-），男，湖北黄石，工程师，硕士研究生，现就职于杭州海康威视数字技术股份有限公司，从事摄像机产品开发，在图像算法，嵌入式开发方面，具有8年工作经验。endprint

摘 要：利用双目立体视觉原理，介绍了一种双目摄像机的实现方法、标定等相关技术，同时结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现人数统计、人员站立或倒地的状态，并输出深度图信息，该产品在安防行业中得到广泛应用。

关键词：立体视觉；标定；世界坐标；摄像机坐标

引言

以视觉系统为基础的三维外形轮廓的非接触式、高速测量是一个重要的研究方向，双目立体视觉测量技术是计算机视觉研究的重点和热点。双目立体视觉通常由单个或两个摄像机从不同时刻、不同角度获得被测物的两幅图像，基于视差原理确定被测物体的三维轮廓，并计算轮廓上任意点的三维坐标，利用获取的三维坐标，对被测物体进行三维建模和三维重建。

文章介绍了一种基于双目立体视觉的双目摄像机，实现方法、标定等相关技术，以及应用。利用双目技术，结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现人数统计、人员站立或倒地的状态，并输出深度图信息。该系统具有测量精度高、速度快、结构简单、易于使用等优点，被广泛应用于医院、值班室、审讯室等诸多应用场景。

1 双目立体视觉原理

双目立体视觉三维测量是基于视差原理[1]，建立双目摄像机左右两个成像平面摄像机坐标与被测物体世界坐标之间的关系，图1为双目立体成像原理的简单示意图[2]，如图1所示。

图1 双目立体成像原理图

为描述方便和简化计算，图1中将左右成像平面（OLuv，ORuv）绘制在镜头的光心前f处（实际上摄像机的成像平面在镜头的光心后），两摄像机坐标系的原点本别在各摄像机镜头的光心处OL及OR，摄像机成像平面坐标系Oluv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，基线距Lb为两摄像机的投影中心连线的距离。真实世界坐标系中某点P在左右摄像机成像平面中相应的坐标分别为PL（ul，vl）和PR（ur，vr）。假定两摄像机的成像在同一个平面上，则点P点摄像机成像平面的Y坐标相同，即vl=vr。P点摄像机成像平面坐标有如下关系：

u1=f ■

ur=f ■ v1

v1=vr=f ■

其中：

（xc，yc，zc）为点P在左摄像机坐标系中的坐标；

Lb为基线距；

f为两个摄像机的焦距；

（ul，vl）和（ur，vr）分别为点P在左右摄像机成像平面中的坐标。

根据视差定义，即某一点在两幅图像中相应点的位置差：

d=u1 ur=f ■

可计算出真实世界坐标系中某点P在左摄像机坐标系中的坐标：

因此，通过建立世界坐标中某点与左右两个摄像机像面上的相应点的匹配关系，利用摄像机双目标定获得的摄像机内外参数，就可以确定这个点的三维世界坐标。

2 双目标定

双目立体视觉系统的标定是通过摄像机的内部参数标定，确定视觉系统中两个摄像机之间的位置关系，即两个摄像机之间的旋转矩阵R和平移向量T。通常采用标准的2D或3D精密靶标，通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数[3]。在实际标定中，采用14*14的棋盘格标定板进行标定，如图2所示。

具体的标定过程如下：

（1）将标定板放置在双目摄像机的正前方，确保标定板在左右两摄像机的视场范围内。通过调节标定板的位置、角度，获取多组标定板图像，通过左右摄像机中摄取到的标定板中棋盘格交点位置，确定两摄像机之间坐标关系，从而标定确定两个摄像机的内部参数，包括两镜头的畸变参数，镜头焦距，以及主点坐标等，以及两个摄像机的外部参数（RL、TL与RR、TR）。

其中，RL、TL表示左摄像机与世界坐标系的相对位置，RR、TR表示右摄像机与世界坐标系的相对位置。

（2）假定空间中任意一点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、xl、xr，则：

x1=RL xw+TL

xr=RR xw+TR

则xl、xr之间有如下关系：

xr=RRRL1x1+TR RRRL1TL

两个摄像机之间的位置关系R、T可表示为：

R=RRRL1，

T=TR RRRL1TL

3 双目摄像机实现

双目摄像机通过两个相同的镜头和Sensor采集图像，左右两路视频流经过同步曝光控制和ISP处理，通过视频分析处理模块，根据摄像机标定参数，计算物体世界坐标与摄像机坐标关系，最后经过数据输出模块输出物体的三维位置信息，双目摄像机的系统示意图如图3所示。

图3 双目摄像机系统示意图

在视频分析处理模块中，利用双目立体视觉原理，结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现对画面中特定区域的人头、头肩等特征部位进行识别，以此来区分人和其他物体，可以进行人数统计，如图4所示；根据人员和物体的三维位置信息，判断人员的站立和倒地状态，并且能够输出场景的深度图视频，深度图中灰度表示场景中物体离相机的距离，距离越远灰度越深，如图5所示。

4 结束语

双目摄像机利用双目视觉原理，有效获取了摄像机视场范围内人员和物体的三维位置信息，并准确计算得出人员身高和距离，精度达到厘米级，同时其测量速度快，结构简单，便于使用等优点，该产品已广泛应用于医院、值班室、审讯室等多个实际项目中，产生良好的应用效果。

参考文献

[1]戴君，赵海洋，冯心海.机器视觉[J].机械设计与制造工程，1998.

[2]马林.基于双目视觉的图像三维重建[Z].

[3]万卫兵，霍宏，赵宇明.智能视频监控中目标检测与识别[M].上海交通大学出版社.

作者简介：柯常志（1981，8-），男，湖北黄石，工程师，硕士研究生，现就职于杭州海康威视数字技术股份有限公司，从事摄像机产品开发，在图像算法，嵌入式开发方面，具有8年工作经验。endprint

摘 要：利用双目立体视觉原理，介绍了一种双目摄像机的实现方法、标定等相关技术，同时结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现人数统计、人员站立或倒地的状态，并输出深度图信息，该产品在安防行业中得到广泛应用。

关键词：立体视觉；标定；世界坐标；摄像机坐标

引言

以视觉系统为基础的三维外形轮廓的非接触式、高速测量是一个重要的研究方向，双目立体视觉测量技术是计算机视觉研究的重点和热点。双目立体视觉通常由单个或两个摄像机从不同时刻、不同角度获得被测物的两幅图像，基于视差原理确定被测物体的三维轮廓，并计算轮廓上任意点的三维坐标，利用获取的三维坐标，对被测物体进行三维建模和三维重建。

文章介绍了一种基于双目立体视觉的双目摄像机，实现方法、标定等相关技术，以及应用。利用双目技术，结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现人数统计、人员站立或倒地的状态，并输出深度图信息。该系统具有测量精度高、速度快、结构简单、易于使用等优点，被广泛应用于医院、值班室、审讯室等诸多应用场景。

1 双目立体视觉原理

双目立体视觉三维测量是基于视差原理[1]，建立双目摄像机左右两个成像平面摄像机坐标与被测物体世界坐标之间的关系，图1为双目立体成像原理的简单示意图[2]，如图1所示。

图1 双目立体成像原理图

为描述方便和简化计算，图1中将左右成像平面（OLuv，ORuv）绘制在镜头的光心前f处（实际上摄像机的成像平面在镜头的光心后），两摄像机坐标系的原点本别在各摄像机镜头的光心处OL及OR，摄像机成像平面坐标系Oluv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，基线距Lb为两摄像机的投影中心连线的距离。真实世界坐标系中某点P在左右摄像机成像平面中相应的坐标分别为PL（ul，vl）和PR（ur，vr）。假定两摄像机的成像在同一个平面上，则点P点摄像机成像平面的Y坐标相同，即vl=vr。P点摄像机成像平面坐标有如下关系：

u1=f ■

ur=f ■ v1

v1=vr=f ■

其中：

（xc，yc，zc）为点P在左摄像机坐标系中的坐标；

Lb为基线距；

f为两个摄像机的焦距；

（ul，vl）和（ur，vr）分别为点P在左右摄像机成像平面中的坐标。

根据视差定义，即某一点在两幅图像中相应点的位置差：

d=u1 ur=f ■

可计算出真实世界坐标系中某点P在左摄像机坐标系中的坐标：

因此，通过建立世界坐标中某点与左右两个摄像机像面上的相应点的匹配关系，利用摄像机双目标定获得的摄像机内外参数，就可以确定这个点的三维世界坐标。

2 双目标定

双目立体视觉系统的标定是通过摄像机的内部参数标定，确定视觉系统中两个摄像机之间的位置关系，即两个摄像机之间的旋转矩阵R和平移向量T。通常采用标准的2D或3D精密靶标，通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数[3]。在实际标定中，采用14*14的棋盘格标定板进行标定，如图2所示。

具体的标定过程如下：

（1）将标定板放置在双目摄像机的正前方，确保标定板在左右两摄像机的视场范围内。通过调节标定板的位置、角度，获取多组标定板图像，通过左右摄像机中摄取到的标定板中棋盘格交点位置，确定两摄像机之间坐标关系，从而标定确定两个摄像机的内部参数，包括两镜头的畸变参数，镜头焦距，以及主点坐标等，以及两个摄像机的外部参数（RL、TL与RR、TR）。

其中，RL、TL表示左摄像机与世界坐标系的相对位置，RR、TR表示右摄像机与世界坐标系的相对位置。

（2）假定空间中任意一点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、xl、xr，则：

x1=RL xw+TL

xr=RR xw+TR

则xl、xr之间有如下关系：

xr=RRRL1x1+TR RRRL1TL

两个摄像机之间的位置关系R、T可表示为：

R=RRRL1，

T=TR RRRL1TL

3 双目摄像机实现

双目摄像机通过两个相同的镜头和Sensor采集图像，左右两路视频流经过同步曝光控制和ISP处理，通过视频分析处理模块，根据摄像机标定参数，计算物体世界坐标与摄像机坐标关系，最后经过数据输出模块输出物体的三维位置信息，双目摄像机的系统示意图如图3所示。

图3 双目摄像机系统示意图

在视频分析处理模块中，利用双目立体视觉原理，结合最新的人体特征识别，模式识别和人工智能算法等多领域的技术，实现对画面中特定区域的人头、头肩等特征部位进行识别，以此来区分人和其他物体，可以进行人数统计，如图4所示；根据人员和物体的三维位置信息，判断人员的站立和倒地状态，并且能够输出场景的深度图视频，深度图中灰度表示场景中物体离相机的距离，距离越远灰度越深，如图5所示。

4 结束语

双目摄像机利用双目视觉原理，有效获取了摄像机视场范围内人员和物体的三维位置信息，并准确计算得出人员身高和距离，精度达到厘米级，同时其测量速度快，结构简单，便于使用等优点，该产品已广泛应用于医院、值班室、审讯室等多个实际项目中，产生良好的应用效果。

参考文献

[1]戴君，赵海洋，冯心海.机器视觉[J].机械设计与制造工程，1998.

[2]马林.基于双目视觉的图像三维重建[Z].

[3]万卫兵，霍宏，赵宇明.智能视频监控中目标检测与识别[M].上海交通大学出版社.

作者简介：柯常志（1981，8-），男，湖北黄石，工程师，硕士研究生，现就职于杭州海康威视数字技术股份有限公司，从事摄像机产品开发，在图像算法，嵌入式开发方面，具有8年工作经验。endprint