双目测距技术在调车作业中的研究与应用

陈文轩，郭佑民



双目测距技术在调车作业中的研究与应用

陈文轩，郭佑民

(兰州交通大学 机电技术研究所，甘肃 兰州 730070)

为实现调车作业视频监控与测距的目的，设计一种用于调车顶送作业的双目测距系统，其通过安装于机车车厢的双目摄像机，采集机车已挂车厢与待挂车厢之间实时视频并测量其距离。在OpenCV计算机视觉库与Windows平台下，使用张正友标定法对双目摄像机进行标定，并获得畸变校正后的图像与摄像机参数。通过SGBM特征匹配算法实现车厢目标特征提取与立体匹配。最后利用三维重建方法获得深度信息。系统分别在实验室环境与现场环境下进行实验，现场实验结果表明，测距结果比实际距离稍偏大，最大误差小于1 m，满足实际现场环境要求，可有效地辅助人工瞭望进行调车作业。

铁路运输；视频监控；调车作业；双目测距

调车作业是铁路车站行车组织中的关键环节，在摘挂机车作业时，目前主要通过作业人员瞭望来确认机车和车厢之间的距离。工作强度大，疲劳、疏忽等因素可能引起调车事故发生[1−2]。现有技术中，国内主要使用无线调车机车信号和监控系统[3]，其针对整车站的机车信号进行监控，无法实时监控单个调车作业过程。以美国和日本为主的一些国家，使用GPS定位技术获得机车的位置信息，并传输到监控室的电子地图，以此获得机车地面信息。欧洲一些国家通过GSM-R技术[4]由监控中心值班员向装有无线设备的机车发送相关指令，机车司机可根据这些指令来进行作业。现有技术大多采用虚拟的位置信息，无法实时地监控调车作业过程，具有一定的局限性。本文基于视频监控[5]记录调车作业的过程，利用双目测距技术，实现调车作业过程实时监控的效果，并且辅助人工瞭望判断距离。此外，结合视频监控中行人检测等其他视频图像处理技术辅助调车作业，可实时记录调车作业过程，提高作业安全性，减轻人工作业的强度，弥补现有技术和设备的不足。

1 双目测距

双目测距是根据2台参数相同的摄像机在不同位置对同一目标进行成像，利用目标点在左右视图上成像的横坐标差异(即视差)与目标点到成像平面之间距离的反比关系，获得目标点的深度信息。双目测距主要由图像获取、相机标定、图像预处理、特征提取与立体匹配、三维重建及深度信息提取5个过程实现[6−7]。

1.1 双目测距原理

如图1(a)所示，双目摄像机对目标点1和2等成像；如图1(b)所示，点为目标点，O与O分别为左右摄像机的光心，x与x分别为在左右摄像机上的成像点，为点至光心面的距离，即为深度距离，摄像机焦距为，为2个摄像头O与O之间的距离，根据相似三角形原理，由

得深度距离：

其中：x与x为点在摄像机平面的投影点横坐标值，视差=x−x，如图1(c)所示。

(a) 双目摄像机；(b) 测距原理图；(c) 视差深度图

1.2 图像获取

如图2所示，搭建双目测距系统硬件框架。将2个相同参数摄像机放置在同一平面内，保持光轴平行。如图3所示，使用2个型号、内参数一致的数字摄像机。本实验选取奥尼HD LENS CAMERA型摄像机，其焦距为4.8 mm，分辨率为640×480，将2个摄像机使用硬纸板固定。在Visual Studio2012与开源跨平台计算机视觉库OpenCV2.4.9开发环境下，通过OpenCV的capture类函数，结合DirectShow函数来实现双摄像头的捕捉与图像采集功能。

图2 双目测距系统硬件框架

图3 双目摄像机

1.3 摄像机标定

由于张正友标定算法只考虑了影响最大的径向畸变，则其数学表达式为：

即可得到畸变系数。

双目摄像机标定使用的棋盘格大小为22 mm×22 mm，角点数为9×6，图像大小为640×480，标定板如图4所示。

图4 标定板

如图5所示，设定实际距离为400 mm，2台摄像机光心距离为30 mm，通过改变摄像机与标定板之间的角度(每次10°)和距离(0~3 cm之间)，拍摄了10对20张标定图，实现双目摄像机的标定过程。利用cvFindChessboardCorners函数得到棋盘在摄像机镜头中的2D位置，在主函数中添加角点数：arg[1]=“−=9”；arg[2]=“−=6”，编译运行程序得到最终求解参数如表1。

图5 摄像机标定

图6 畸变校正前后的图像

表1 摄像机内外参数

根据计算结果，旋转矩阵趋向于0，2台摄像机之间的旋转矢量可忽略不计，系统满足双目测距模型的要求[10]。对左右摄像机图像进行双目校正，消除畸变对视图的影响，如图6所示，为完成校正的图像。

1.4 特征提取与立体匹配

图像特征提取是从图像中提取有价值的数值、符号等信息，常见的特征类型有边缘、角、区域等。通过提取这些高质量的特征，进行精准的匹配。立体匹配通过对左右摄像机成像的相同部分进行匹配，得到视差图。基于对匹配精度及处理效果的要求，本文使用一种半全局立体匹配算法SGBM (semi-global block matching)算法[11−12]。其核心步骤为：选取每个像素点的视差，组建成视差图，设置一个和视差图相关的全局能量函数，使得这个能量函数最小化，达到求解每个像素点最优视差的目 的[13−14]。SGBM算法基本流程为：

1) 预处理及像素匹配计算。实验使用自适应线性滤波进行预处理，去除画面较突出的噪点。SGBM算法采用水平Sobel算子，使得每个像素点映射成新的梯度图像。

2) 代价计算。采用一维约束近似二维约束的方法，给像素点设置8个路径，计算最小代价路径，得到近似二维约束匹配计算。

3) 剔除误匹配。搜索左右像素点不相同的无效匹配，如图7(a)所示，目标书本上沿区域(A区域)产生较多误匹配，进行剔除后，得到匹配图7(b)。

4) 左右视差计算。通过动态迭代规划，最小代价计算到的视差值为该像素点的视差。

(a) 实验目标匹配图；(b) 实验目标剔除误匹配图

1.5 三维重建与深度信息提取

如图8所示，reprojectImageTo3D函数生成 3D点云，得到视差图像，图中白色部分表示，3D点云中保存有2D图像的三维坐标，进行空间三维重建[15]。以左摄像机光心为世界坐标系的原点，由式(2)和矩阵计算，可求得深度信息[16]。如图9所示，得到测量结果，随机取部分测距结果进行统计，如表2所示。

图8 实验目标视差图

图9 实验目标测距结果图

表2 实验测距结果

2 双目测距在调车作业中的应用

2.1 双目测距系统配置

如图10所示，双目测距系统包括视频图像采集装置，图像处理与测距系统及视频图像与距离信息显示装置[17]。视频图像信息采集装置由数字摄像机和光照装置组成，实现实时视频图像信息采集工作[18]。

图像处理与测距系统使用C++语言，结合SGBM算法，在OpenCV2.4.9与Visual Studio2012配置环境下运行，性能测试实验在CPU1.90 GHz，64位Windows7操作系统，4G内存的计算机上运行。系统软件程序流程包括初始化系统配置、获取图像、检测图像可用性、图像匹配并计算坐标值得出目标的距离信息。视频图像与距离信息显示在可视化的程序界面，在司机室上位机界面上可实现实时视频、测距结果与警戒报警距离等信息的显示。

图10 双目测距系统总体结构

图11 双目测距系统示意图

2.2 双目测距系统应用过程

如图11所示，在机车行驶至车厢的过程中，安装于机车车厢的摄像机采集待测距离间的实时画面，通过有线传输方式，显示在司机室的上位机界面。将采集到的帧图像，经过图像处理与图像匹配算法，得到视差图像，利用双目测距技术，获得机车与车厢之间动态实时距离[19]，并显示在司机室上位机界面。此外，系统可设定距离报警值，方便司机工作。

3 实验设计与结果分析

3.1 实验过程及数据

在实际场景中，以车厢为测距目标，进行实 验[20]。在已挂车厢人工瞭望位置与角度安装摄像机，保持2台摄像机在同一平面内且保持光轴平行。为减少误差，再次进行摄像机标定与图像校正。之后，通过摄像机采集并获取帧图像。如图12所示，图12(a)为目标匹配图，车厢顶部区域误匹配较大，进行剔除误匹配，图12(b)为剔除误匹配之后的 图像。

得到较理想的匹配图像后，进行空间三维重建和深度信息的提取。如图13所示为测距目标视差图像，图中白色部分为可测距离的匹配像素点，实际目标为车厢左部及部分轨道。图14为目标周围随机点测距结果。

(a) 目标匹配图；(b) 剔除误匹配图

图13 目标视差图

从实验结果中，随机选取10组数据进行分析，如表3所示。

图14 测距程序结果图

表3 实际目标测距结果

3.2 实验结果分析

基于双目测距实验基础，在实际场景中进行双目测距在调车作业中的应用实验。由表3实验数据分析，与车厢实际距离约为75 m，随机选择10组测距结果，进行计算比较，误差最大为971 mm，误差控制在1 m以内，基本符合实际工作要求。在不同距离重复上述实验10次，每次取最接近平均误差的数据作为本次的实验数据进行统计。如表4所示，统计结果表明，实验最大误差为997 mm，随着距离的增大，误差相应地变大，主要原因是视差变化造成的，微小的视差变化，都将产生测量结果的巨大变化。对比人工瞭望时人眼产生的误差，本实验结果满足调车作业实际工作要求。

表4 10组实验结果

4 结论

1) 研究双目测距技术在调车作业测距中的应用，采用SGBM特征匹配算法，通过图像获取、相机标定、图像预处理、特征提取与立体匹配、三维重建及深度信息提取5个过程，实现双目测距。

2) 分别在实验室及现场环境下进行多次测距实验，结果表明测量距离为83.2 m时最大误差不超过1 m，10组数据平均绝对误差为497 mm，满足实际工作要求。实现了利用双目测距技术辅助调车作业测距的效果。

3) 初步实现了双目测距技术在调车作业中的应用，但现场实验环境为较开阔的白天，在较多遮挡物和能见度不良的夜间环境下测距误差较大，下一步工作将升级硬件系统及优化算法，实现复杂环境下调车作业的测距效果。

[1] 刘鹏鑫. 铁路调车人因事故可靠性研究[J]. 铁道货运, 2016, 34(8): 45−49. LIU Pengxin. Study of the reliability of human factor in railway shunting accident[J]. Railway Freight Transport, 2016, 34(8): 45−49.

[2] 张亮. 铁路车务系统中间站调车作业安全防控对策分析[J]. 铁道运输与经济, 2018, 40(5): 71−74. ZHANG Liang. An analysis on the safety management of shunting operation at intermediate stations[J]. Railway Transport and Economy, 2018, 40(5): 71−74.

[3] 曹海霞. 无线调车机车信号和监控系统(STP)的应用分析[J]. 铁道通信信号, 2017, 53(9): 33−36. CAO Haixia. Application analysis of STP[J]. Railway Signalling & Communication, 2017, 53(9): 33−36.

[4] 龚骁猷. 铁路GSM-R网络编号方案关键问题研究[J].铁道标准设计, 2018, 62(2): 160−166. GONG Xiaoyou. Research on key problems of railway GSM-R network numbering program[J]. Railway Standard Design, 2018, 62(2): 160−166.

[5] 黄铁军, 郑锦, 李波, 等. 多媒体技术研究: 2013——面向智能视频监控的视觉感知与处理[J]. 中国图象图形学报, 2014, 19(11): 1539−1562. HUANG Tiejun, ZHENG Jin, LI Bo, et al. Visual perception and processing for intelligent video surveillance: a review[J]. Journal of Image and Graphics, 2014, 19(11): 1539−1562.

[6] 黄松梅, 毕远伟, 刘殿通, 等. 双目立体视觉非接触式测量研究[J]. 烟台大学学报(自然科学与工程版), 2017, 30(4): 323−327. HUANG Songmei, BI Yuanwei, LIU Diantong, et al. Non-contact measurement with binocular stereo vision[J]. Journal of Yantai University (Natural Science and Engineering Edition), 2017, 30(4): 323−327.

[7] 安果维, 王耀南, 周显恩, 等. 基于显著性检测的双目测距系统[J]. 智能系统学报, 2018(6): 1−9. AN Guowei, WANG Yaonan, ZHOU Xian’en, et al. Binocular distance measurement system based on saliency detection[J]. CAAI Transactions on Intelligent Systems, 2018(6): 1−9.

[8] ZHANG Zhengyou. A flexible new technique for camera cablibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330−1334.

[9] 许威, 丁学文, 宋兰草, 等. 基于MATLAB和OpenCV的双目视觉测距系统的实现[J]. 天津职业技术师范大学学报, 2017, 27(4): 47−52. XU Wei, DING Xuewen, SONG Lancao, et al. Realization of binocular stereo vision distance measurement system based on MATLAB and OpenCV[J]. Journal of Tianjin University of Technology and Education, 2017, 27(4): 47−52.

[10] 汪珍珍, 赵连玉, 刘振忠. 基于MATLAB与OpenCV相结合的双目立体视觉测距系统[J]. 天津理工大学学报, 2013, 29(1): 45−48. WANG Zhenzhen, ZHAO Lianyu, LIU Zhenzhong. Binocular stereo vision distance measurement system based on a combination of Matlab and OpenCV[J]. Journal of Tianjin University of Technology, 2013, 29(1): 45−48.

[11] 张欢, 安利, 张强, 等. SGBM算法与BM算法分析研究[J]. 测绘与空间地理信息, 2016, 39(10): 214−216. ZHANG Huan, AN Li, ZHANG Qiang, et al. SGBM algorithm and B-M algorithm analysis and research[J]. Geomatics & Spatial Information Technology, 2016, 39(10): 214−216.

[12] Rostam H, Haidi I, Eduard L. Literature survey on stereo vision disparity map algorithms[J]. Journal of Sensors, 2015, 10(2): 34−51.

[13] Hirschmuller H. Accurate and efficient stereo processing by semi global matching and mutual information[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2005: 807−814.

[14] Bleyer M, Gelautz M. Graph-cut-based stereo matching using image segmentation with symmetrical treatment of occlusions[J]. Signal Processing: Image Communication, 2007, 22(2): 127−143.

[15] 杨韬, 符文星, 王民钢, 等. 基于光场成像的双目深度图像获取[J]. 西北工业大学学报, 2015, 33(5): 727−731. YANG Tao, FU Wenxing, WANG Minggang, et al. Binocular stereo depth map acquisition based on light field images[J]. Journal of Northwestern Polytechnical University, 2015, 33(5): 727−731.

[16] 任继昌, 杨晓东. 基于互信息的高精度双目视觉测距方法研究[J]. 控制工程, 2015, 22(1): 199−204. REN Jichang, YANG Xiaodong. Improving range- measuring accuracy of stereo vision based on mutual information registration[J]. Control Engineering of China, 2015, 22(1): 199−204.

[17] 王予见. 图像处理技术在调车作业安全防护中的应用研究[D]. 兰州: 兰州交通大学, 2015. WANG Yujian. Application research of image processing technologies on safety protection for shunting operation [D]. Lanzhou: Lanzhou Jiaotong University, 2015.

[18] 佟卓远. 基于机器视觉的前方车辆检测与测距系统设计[D]. 哈尔滨: 哈尔滨工业大学, 2015. TONG Zhuoyuan. The design of preceding vehicles detection and distance measurement system based on machine vision[D]. Harbin: Harbin Institute of Technology, 2015.

[19] 张颖江, 潘尧, 吴聪. 基于车载系统双目CCD相机测距[J]. 信息安全与技术, 2016, 7(1): 57−62. ZHANG Yinjiang, PAN Yao, WU Cong. Distance measurement of binocular CCD camera on vehicle-mounted system[J]. Information Security and Technology, 2016, 7(1): 57−62.

[20] 王志远, 王茂森. 基于双目视觉的移动机器人测距与定位系统[J]. 兵器装备工程学报, 2017, 38(11): 173−177. WANG Zhiyuan, WANG Maosen. Ranging and positioning system of mobile robot based on binocular vision[J]. Journal of Ordnance Equipment Engineering, 2017, 38(11): 173−177.

Research and application of binocular distance measurement technology to shunting operation

CHEN Wenxuan, GUO Youmin

(Mechanical and Electronic Technology Institute, Lanzhou Jiaotong University, Lanzhou 730070, China)

In order to achieve the purpose of video surveillance and distance measurement in shunting operation, a distance measurement system was designed. With a camera mounted on the connected carriage, it collected the real-time video and measured distance among carriage connected and unconnected. Under the OpenCV computer vision and windows platform, the intrinsic and extrinsic parameters of cameras and rectified images were determined using Zhang’s calibration method. The target feature extraction and stereo matching were achieved though the SGBM feature matching algorithm. Finally, the depth information was obtained using 3D-reconstruction method. The distance measurement system has been tested under the laboratory environment and field environment. The experimental results show that the distance of the system is slightly larger than the actual one, and the maximum error is less than 1 meters. It can effectively assist manual work for shunting operation.

railway transportation; video surveillance; shunting operations; binocular distance measure

10.19713/j.cnki.43−1423/u.2019.03.034

TP391

A

1672 − 7029(2019)03 − 0819 − 08

2018−05−22

郭佑民(1968−)，男，甘肃陇西人，教授，从事车辆工程、数字图像处理的研究；E−mail：lqzymc@qq.com

(编辑 阳丽霞)