基于双目视觉的识别测距系统设计

张润豪 杨瑞 管艳

摘要：双目视觉的识别测距主要通过双目视觉系统模拟人的“双眼”，从而获得物体的形状和距离的远近。文章提出一种目标识别测距系统，构建卷积神经网络模型，利用图像处理技术识别目标以及三角相似原理计算目标距离，最后达到识别和检测的目的。实验结果表明，所设计的目标识别测距系统能够同时保证特定目标的检测和测距，具有一定的研究意义。

关键词：双目视觉；识别测距；神经网络

中图分类号：TP391.41  文献标志码：A

0 引言

随着农业自动化的发展，水果的自动化与智能化采摘技术研究已成为当今的研究热点。然而，水果的采摘方式与其他作物不同，需要进行准确的采摘。因此，依靠双目视觉实现对目标物的准确识别和定位十分重要。双目视觉对于危险生产场所的检测、非接触产品的质量检测以及位置随机移动物体的实时检测具有重要的研究意义和应用价值［1］。双目视觉技术还可应用于机械臂、智能家居、智能制造、工业等具有巨大潜力的领域［2］。

其他测距方法测距误差较大，测量范围受限，而双目视觉技术可以在不接触目标物的情况下识别和定位目标物，还可以估计目标物的深度信息。因此，本文选择双目测距法。然而，同时具备目标物识别和测距的系统比较少，不能满足指定工作的需求［3-5］。

针对上述存在的问题，结合双目视觉和机器学习等技术［6-9］，本文提出了基于双目视觉的目标检测测距方法，设计了一个基于双目视觉的目标检测测距系统。该系统能够实现对目标物的识别和定位，使人们可以利用计算机技术模拟人眼，方便后期的操作。该系统利用卷积神经网络对物体进行识别，再根据双目相机测距原理，最后得到目标与摄像头之间的距离，从而最终实现定位。

1 双目视觉系统

双目系统主要由两款相同的摄像头组成，保持在同一个水平面上，并共享一个共同的观察区。距离测量是用三角数学方法进行的。测距的原理如图1所示。

2 双目相机标定

2.1 相机标定

双目相机中内部和外部参数和畸变参数的精度直接影响后续测量的精度。因此，文章选用了具有精度高、操作方便的张正友标定法。本文自制一个黑白棋盘，并将其固定在一个纸板上，如图4所示。首先，使用双目相机在不同的位置和角度拍摄大约30幅棋盘图像。其次，将图像分别导入MATLAB进行检测校正。最后，经过计算和分析，利用棋盘校准板获得左右相机内部和外部参数及其位置的三维视图。标定结果如图5所示。

2.2 立体校正

把实际中非共面行对准的两幅图像，校正成共面行对准，提高匹配搜索的效率。将消除畸变后的两幅图像严格地对应，利用极线约束使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。根据摄像头标定后获得的双目相对位置对左右视图进行消除畸變和行对准，如图6所示。

2.3 立体匹配

立体匹配主要计算视差。基于双目测距原理的分析使得可以通过计算由左右摄像机拍摄的每个图像相应点的视差来获得关于图像深度的信息。双目立体视觉的三维重建过程中，需要通过立体匹配算法进行视差图的计算得到左右两幅图像的视差值，进而计算深度以恢复场景的三维信息。要计算左右视图中三维场景中目标点生成的视差，左右视图中的两个对应像点必须与该点匹配。然而，协调二维空间中的对应点需要很长时间才能缩小适当的搜索范围，需要进行双目相机的立体校正，将二维上的匹配搜索降低到一维。立体匹配后，得到的视差图如图7所示。

3 图像识别定位测距

3.1 数据标注和图片训练

数据标注是处理原始语音、图像、文本、视频和其他数据并将其转换为机器可读信息的过程。机器无法识别和研究未标记的原始数据。原始数据只有经过标注处理成为结构化数据后才能被算法训练所使用。整个数据标注的过程如下：首先，将要标注的物体制作成数据集，并且图片越多越好，如果样本过少，模型训练和预测都会受到影响，非常容易欠拟合；其次，通过Labelme工具进行标注，如图8所示；最后，将数据集分为训练集、验证集和测试集。数据标注完成后，需要对标注的数据集图片进行训练，图片训练完成后，可以看到训练好的模型的权重和PR Curve 曲线、Confusion Matrix （混淆矩阵）等训练过程数据。然后可以用训练的模型进行测试，配合双目摄像头，可以实现对特定物体的实时识别，如图9所示。

3.2 双目识别测距

双目相机的工作方式与人眼相同。人眼感知物体距离的能力基于两只眼睛在同一物体上呈现的图像差异，也称为视差。把物体识别和双目测距结合在一起，融合了卷积神经网络，不仅能够对物体进行识别，还能够进行测距。本文通过深度学习技术与传统算法的结合，利用双目相机实现了物体的精准测距。

通过网络框的置信度确定识别的准确度，计算表达式为：

Pr（object）×IOUtruthpred（9）

IOUtruthpred=area（BBdt∩BBgt）area（BBdt∪BBgt）（10）

Pr（object）为训练样本的概率；BBgt为物体标签的可行度，BBdt分为网络预测的可信度；area为面积函数。测距效果如图10所示。

4 结语

在目标识别的基础上，建立双目系统，开发并实  施基于双目视觉和机器学习的识别和定位系统。该系统已被证明具有一定的精度和稳定性。通过对双目距离原理的研究，本文开发了一种基于双目视觉的目标测距和检测系统，通过收集图像、校准相机、处理图像并进行比较，最后进行目标测试。实验表明，目标测距和检测系统具有良好的精度和可行性。下一步，笔者将继续深入研究、分析和提高双目视觉，消除系统测量的准确性和可靠性，研究双目视觉在智能制造设备和相关智能场景中的应用。

參考文献

［1］任慧娟，金守峰，程云飞，等.面向分拣机器人的多目标视觉识别定位方法［J］.机械与电子，2019（12）：64-68.

［2］赵刚，郭晓康，刘德政，等.随机工件的点云场景CAD模型的快速识别与定位［J］.激光与红外，2019（12）：1490-1496.

［3］柴钰，许继科.基于机器视觉的目标识别与定位系统［J］.计算机工程与设计，2019（12）：3557-3562.

［4］连黎明.基于多信息融合的移动机器人定位算法［J］.西南师范大学学报（自然科学版），2019（9）：89-95.

［5］蒋萌，王尧尧，陈柏.基于双目视觉的目标识别与定位研究［J］.机电工程，2018（4）：414-419.

［6］王德海，洪伟，程群哲.基于双目立体视觉的目标识别与定位［J］.吉林大学学报（信息科学版），2016（2）：289-295.

［7］高如新，王俊孟.基于双目视觉的目标识别与定位［J］.河南理工大学学报（自然科学版），2014（4）：495-500.

［8］袁小平，张毅，张侠，等.基于改进FAST检测的ORB特征匹配算法［J］.科学技术与工程，2019（21）：233-238.

［9］BOYKOV Y，VEKSLER O，ZABIH R. Fast approximate energy minimization via graph cuts［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2001（11）：1222-1239.

（编辑 王雪芬）

Design of recognition and ranging system based on binocular vision

Zhang  Runhao， Yang  Rui， Guan  Yan

（School of Computer Science， Xijing University， Shaanxi 710123， China）

Abstract： The recognition and ranging of binocular vision mainly uses a binocular vision system to simulate the “eyes” of humans， thereby obtaining the shape of objects and the distance between them. This paper proposes a target recognition and ranging system， constructs a convolutional neural network model， uses image processing technology to identify the target， and calculates the target distance based on the triangular similarity principle， finally achieving recognition and detection. Experimental results show that the designed target recognition and ranging system can simultaneously ensure the detection and ranging of specific targets， which has certain research significance.

Key words： binocular vision; recognition ranging; neural network